(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-05
(45)【発行日】2024-12-13
(54)【発明の名称】空間ディスプレイ装置、空間ディスプレイ方法、及び空間ディスプレイプログラム
(51)【国際特許分類】
G05D 1/695 20240101AFI20241206BHJP
H05B 47/11 20200101ALI20241206BHJP
H05B 47/165 20200101ALI20241206BHJP
H05B 47/19 20200101ALI20241206BHJP
G05D 1/225 20240101ALI20241206BHJP
G05D 1/46 20240101ALI20241206BHJP
A63G 31/16 20060101ALI20241206BHJP
H05B 47/155 20200101ALI20241206BHJP
【FI】
G05D1/695
H05B47/11
H05B47/165
H05B47/19
G05D1/225
G05D1/46
A63G31/16
H05B47/155
(21)【出願番号】P 2024081715
(22)【出願日】2024-05-20
【審査請求日】2024-05-20
【早期審査対象出願】
(73)【特許権者】
【識別番号】520177703
【氏名又は名称】株式会社ドローンショー・ジャパン
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】山本 雄貴
(72)【発明者】
【氏名】大賀 竜平
【審査官】岩▲崎▼ 優
(56)【参考文献】
【文献】米国特許出願公開第2023/0267843(US,A1)
【文献】米国特許出願公開第2018/0136646(US,A1)
【文献】国際公開第2024/100463(WO,A1)
【文献】国際公開第2018/134284(WO,A1)
【文献】韓国公開特許第10-2021-0091419(KR,A)
【文献】仏国特許出願公開第03100898(FR,A1)
【文献】特開2021-157705(JP,A)
【文献】特開2003-066942(JP,A)
【文献】特開2017-107039(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/00 -1/87
(57)【特許請求の範囲】
【請求項1】
複数の無人航空機を複数のグループに分け、複数の前記無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置であって、
前記空間ディスプレイ装置の処理部は、
前記画像に関する画像データを取得する画像データ取得部と、
前記画像データに基づいて、前記画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出部と、
前記画像データに基づいて、前記発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成部と、
前記画像データに含まれる前記画像の色彩に関する色彩データに基づいて、前記ドットごとの発光態様を規定する発光パターン情報を生成する発光処理部と、
前記ドットごとに前記無人航空機を割り当てる無人航空機割当部と、
前記画像を、前記複数のグループの何れかに割り当てる画像割当部と、
前記ドットごとに割り当てられた前記無人航空機の各々に対して、前記ドットに対応する前記位置情報及び前記発光パターン情報を送信する送信部と、
前記画像が割り当てられた前記グループに含まれる前記無人航空機の数が、前記ドット数算出部が算出した前記ドットの数を充足するか否かを判定する機数充足判定部と、
を備え、
前記機数充足判定部が、前記無人航空機の数が、前記ドット数算出部が算出した前記ドットの数を充足すると判定した場合は、前記無人航空機割当部は、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当て、
前記機数充足判定部が、前記無人航空機の数が、前記ドット数算出部が算出した前記ドットの数を充足しないと判定した場合は、前記無人航空機割当部は、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てるとともに、他の前記グループに属する前記無人航空機を割り当て
、
前記機数充足判定部が、前記無人航空機の数が、前記ドット数算出部が算出した前記ドットの数を充足しないと判定した場合であって、前記ドットに、他の前記グループに属する前記無人航空機を割り当てることができない場合は、
前記位置情報生成部は、前記画像が割り当てられた前記グループに属する前記無人航空機の数に合わせたドットの数の各々のドットごとの位置情報を生成し、
前記無人航空機割当部は、前記無人航空機の数に合わせたドットの数の各々のドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てることを特徴とする空間ディスプレイ装置。
【請求項2】
複数の無人航空機を複数のグループに分け、複数の前記無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置であって、
前記空間ディスプレイ装置の処理部は、
前記画像に関する画像データを取得する画像データ取得部と、
前記画像データに基づいて、前記画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出部と、
前記画像データに基づいて、前記発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成部と、
前記画像データに含まれる前記画像の色彩に関する色彩データに基づいて、前記ドットごとの発光態様を規定する発光パターン情報を生成する発光処理部と、
前記ドットごとに前記無人航空機を割り当てる無人航空機割当部と、
前記画像を、前記複数のグループの何れかに割り当てる画像割当部と、
前記ドットごとに割り当てられた前記無人航空機の各々に対して、前記ドットに対応する前記位置情報及び前記発光パターン情報を送信する送信部と、
前記画像が割り当てられた前記グループに含まれる前記無人航空機の数が、前記ドット数算出部が算出した前記ドットの数を充足するか否かを判定する機数充足判定部と、
を備え、
前記機数充足判定部が、前記無人航空機の数が、前記ドット数算出部が算出した前記ドットの数を充足すると判定した場合は、前記無人航空機割当部は、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当て、
前記機数充足判定部が、前記無人航空機の数が、前記ドット数算出部が算出した前記ドットの数を充足しないと判定した場合は、前記無人航空機割当部は、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てるとともに、他の前記グループに属する前記無人航空機を割り当て
、
空中待機している他の前記グループと地上待機している他の前記グループとがあり、
前記無人航空機割当部は、地上待機している他の前記グループより、空中待機している他の前記グループに属する無人航空機を優先して割り当てることを特徴とする空間ディスプレイ装置。
【請求項3】
前記画像は動画を含み、
前記空間ディスプレイ装置の処理部は、
前記画像データに含まれる前記画像の動画部分に関する動画データに基づいて、前記動画部分を構成する前記ドットごとの飛行ルート、飛行タイミング、及び飛行速度を規定する飛行パターン情報を生成する飛行制御部を備え、
前記送信部は、前記動画部分を構成する前記ドットごとに割り当てられた前記無人航空機の各々に対して、前記ドットに対応する前記位置情報及び前記発光パターン情報とともに、前記飛行パターン情報を送信することを特徴とする請求項1に記載の空間ディスプレイ装置。
【請求項4】
前記画像は輪郭によって表示され、
前記位置情報生成部は、
前記画像データに基づいて前記輪郭に関する輪郭データを取得して、前記輪郭データに基づいて、前記輪郭をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成することを特徴とする請求項1に記載の空間ディスプレイ装置。
【請求項5】
前記画像は複数のレイヤーにより構成される立体画像であって、
前記位置情報生成部は、
前記画像データに基づいて、前記複数のレイヤーに分割された前記画像をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成することを特徴とする請求項1に記載の空間ディスプレイ装置。
【請求項6】
前記画像の元となる元画像データを受け付ける外部情報入力部と、
前記画像に関する画像データと前記元画像データとの対応関係を予め学習した学習モデルを取得する学習モデル取得部と、
を備え、
前記画像データ取得部は、
前記外部情報入力部により受け付けられた前記元画像データを前記学習モデルに入力することで前記画像データを取得することを特徴とする請求項1に記載の空間ディスプレイ装置。
【請求項7】
前記発光処理部は、前記画像に含まれる斜線部及び曲線部に配置され前記画像の背景との境界を構成するドットの発光パターン情報に含まれる発光色を、前記背景の色と前記画像の色との中間色とすることを特徴とする請求項1に記載の空間ディスプレイ装置。
【請求項8】
前記無人航空機は、
前記送信部から送信された前記位置情報及び前記発光パターン情報を取得する取得部を備えることを特徴とする請求項1に記載の空間ディスプレイ装置。
【請求項9】
前記無人航空機は、
前記位置情報及び前記発光パターン情報とともに前記送信部から送信された飛行パターン情報を取得する取得部を備えることを特徴とする請求項3に記載の空間ディスプレイ装置。
【請求項10】
前記無人航空機は、
自機の異常を検知する異常検知部と、
前記自機の異常に関する異常情報を前記空間ディスプレイ装置に通知する異常通知部と、
を備え、
前記空間ディスプレイ装置の処理部は、
前記無人航空機の異常情報を受付ける異常情報受付部を備え、
前記無人航空機割当部は、前記異常情報を通知した前記無人航空機が割り当てられていた前記ドットに、当該無人航空機に代えて他の前記グループに属する無人航空機を割り当て、
前記送信部は、前記異常情報を通知した前記無人航空機に対して、帰還するように帰還指令を送信することを特徴とする請求項
8又は
9に記載の空間ディスプレイ装置。
【請求項11】
前記異常は、バッテリの残量が閾値以下である場合を含むことを特徴とする請求項
10に記載の空間ディスプレイ装置。
【請求項12】
前記無人航空機は、
自機の発光の光量不足を検知する光量不足検知部と、
前記自機の発光の光量不足に関する光量不足情報を前記空間ディスプレイ装置に通知する光量不足通知部と、
を備え、
前記空間ディスプレイ装置の処理部は、
前記無人航空機の光量不足情報を受付ける光量不足情報受付部を備え、
前記無人航空機割当部は、前記光量不足情報を通知した前記無人航空機が割り当てられていた前記ドットに、当該無人航空機と共に他の前記グループに属する無人航空機を割り当てることを特徴とする請求項
8又は
9に記載の空間ディスプレイ装置。
【請求項13】
前記無人航空機は、
外部の照度を計測する照度センサと、
前記照度センサの計測結果に基づいて、前記発光パターン情報に含まれる発光輝度を補正する発光輝度補正部と、
を備えることを特徴とする請求項
8又は
9に記載の空間ディスプレイ装置。
【請求項14】
複数の無人航空機を複数のグループに分け、複数の前記無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置に用いられる空間ディスプレイ方法であって、
前記空間ディスプレイ装置の処理部は、
前記画像に関する画像データを取得する画像データ取得ステップと、
前記画像データに基づいて、前記画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出ステップと、
前記画像データに基づいて、前記発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成ステップと、
前記画像データに含まれる前記画像の色彩に関する色彩データに基づいて、前記ドットごとの発光態様を規定する発光パターン情報を生成する発光処理ステップと、
前記ドットごとに前記無人航空機を割り当てる無人航空機割当ステップと、
前記画像を、前記複数のグループの何れかに割り当てる画像割当ステップと、
前記ドットごとに割り当てられた前記無人航空機の各々に対して、前記ドットに対応する前記位置情報及び前記発光パターン情報を送信する送信ステップと、
前記画像が割り当てられた前記グループに含まれる前記無人航空機の数が、前記ドット数算出ステップにおいて算出した前記ドットの数を充足するか否かを判定する機数充足判定ステップと、
を実行し、
前記機数充足判定ステップにおいて、前記無人航空機の数が、前記ドット数算出ステップにおいて算出した前記ドットの数を充足すると判定した場合は、前記無人航空機割当ステップにおいて、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当て、
前記機数充足判定ステップにおいて、前記無人航空機の数が、前記ドット数算出ステップにおいて算出した前記ドットの数を充足しないと判定した場合は、前記無人航空機割当ステップにおいて、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てるとともに、他の前記グループに属する前記無人航空機を割り当て
、
前記機数充足判定ステップにおいて、前記無人航空機の数が、前記ドット数算出ステップにおいて算出した前記ドットの数を充足しないと判定した場合であって、前記ドットに、他の前記グループに属する前記無人航空機を割り当てることができない場合は、
前記位置情報生成ステップにおいて、前記画像が割り当てられた前記グループに属する前記無人航空機の数に合わせたドットの数の各々のドットごとの位置情報を生成し、
前記無人航空機割当ステップにおいて、前記無人航空機の数に合わせたドットの数の各々のドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てることを特徴とする空間ディスプレイ方法。
【請求項15】
複数の無人航空機を複数のグループに分け、複数の前記無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置に用いられる空間ディスプレイ方法であって、
前記空間ディスプレイ装置の処理部は、
前記画像に関する画像データを取得する画像データ取得ステップと、
前記画像データに基づいて、前記画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出ステップと、
前記画像データに基づいて、前記発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成ステップと、
前記画像データに含まれる前記画像の色彩に関する色彩データに基づいて、前記ドットごとの発光態様を規定する発光パターン情報を生成する発光処理ステップと、
前記ドットごとに前記無人航空機を割り当てる無人航空機割当ステップと、
前記画像を、前記複数のグループの何れかに割り当てる画像割当ステップと、
前記ドットごとに割り当てられた前記無人航空機の各々に対して、前記ドットに対応する前記位置情報及び前記発光パターン情報を送信する送信ステップと、
前記画像が割り当てられた前記グループに含まれる前記無人航空機の数が、前記ドット数算出ステップにおいて算出した前記ドットの数を充足するか否かを判定する機数充足判定ステップと、
を実行し、
前記機数充足判定ステップにおいて、前記無人航空機の数が、前記ドット数算出ステップにおいて算出した前記ドットの数を充足すると判定した場合は、前記無人航空機割当ステップにおいて、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当て、
前記機数充足判定ステップにおいて、前記無人航空機の数が、前記ドット数算出ステップにおいて算出した前記ドットの数を充足しないと判定した場合は、前記無人航空機割当ステップにおいて、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てるとともに、他の前記グループに属する前記無人航空機を割り当て
、
空中待機している他の前記グループと地上待機している他の前記グループとがあり、
前記無人航空機割当ステップにおいて、地上待機している他の前記グループより、空中待機している他の前記グループに属する無人航空機を優先して割り当てることを特徴とする空間ディスプレイ方法。
【請求項16】
複数の無人航空機を複数のグループに分け、複数の前記無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置に用いられる空間ディスプレイプログラムであって、
前記空間ディスプレイ装置の処理部は、
前記画像に関する画像データを取得する画像データ取得機能と、
前記画像データに基づいて、前記画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出機能と、
前記画像データに基づいて、前記発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成機能と、
前記画像データに含まれる前記画像の色彩に関する色彩データに基づいて、前記ドットごとの発光態様を規定する発光パターン情報を生成する発光処理機能と、
前記ドットごとに前記無人航空機を割り当てる無人航空機割当機能と、
前記画像を、前記複数のグループの何れかに割り当てる画像割当機能と、
前記ドットごとに割り当てられた前記無人航空機の各々に対して、前記ドットに対応する前記位置情報及び前記発光パターン情報を送信する送信機能と、
前記画像が割り当てられた前記グループに含まれる前記無人航空機の数が、前記ドット数算出機能において算出した前記ドットの数を充足するか否かを判定する機数充足判定機能と、
を実現し、
前記機数充足判定機能において、前記無人航空機の数が、前記ドット数算出機能において算出した前記ドットの数を充足すると判定した場合は、前記無人航空機割当機能において、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当て、
前記機数充足判定機能において、前記無人航空機の数が、前記ドット数算出機能において算出した前記ドットの数を充足しないと判定した場合は、前記無人航空機割当機能において、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てるとともに、他の前記グループに属する前記無人航空機を割り当て
、
前記機数充足判定機能において、前記無人航空機の数が、前記ドット数算出機能において算出した前記ドットの数を充足しないと判定した場合であって、前記ドットに、他の前記グループに属する前記無人航空機を割り当てることができない場合は、
前記位置情報生成機能において、前記画像が割り当てられた前記グループに属する前記無人航空機の数に合わせたドットの数の各々のドットごとの位置情報を生成し、
前記無人航空機割当機能において、前記無人航空機の数に合わせたドットの数の各々のドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てることを特徴とする空間ディスプレイプログラム。
【請求項17】
複数の無人航空機を複数のグループに分け、複数の前記無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置に用いられる空間ディスプレイプログラムであって、
前記空間ディスプレイ装置の処理部は、
前記画像に関する画像データを取得する画像データ取得機能と、
前記画像データに基づいて、前記画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出機能と、
前記画像データに基づいて、前記発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成機能と、
前記画像データに含まれる前記画像の色彩に関する色彩データに基づいて、前記ドットごとの発光態様を規定する発光パターン情報を生成する発光処理機能と、
前記ドットごとに前記無人航空機を割り当てる無人航空機割当機能と、
前記画像を、前記複数のグループの何れかに割り当てる画像割当機能と、
前記ドットごとに割り当てられた前記無人航空機の各々に対して、前記ドットに対応する前記位置情報及び前記発光パターン情報を送信する送信機能と、
前記画像が割り当てられた前記グループに含まれる前記無人航空機の数が、前記ドット数算出機能において算出した前記ドットの数を充足するか否かを判定する機数充足判定機能と、
を実現し、
前記機数充足判定機能において、前記無人航空機の数が、前記ドット数算出機能において算出した前記ドットの数を充足すると判定した場合は、前記無人航空機割当機能において、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当て、
前記機数充足判定機能において、前記無人航空機の数が、前記ドット数算出機能において算出した前記ドットの数を充足しないと判定した場合は、前記無人航空機割当機能において、前記ドットごとに、前記画像が割り当てられた前記グループに属する前記無人航空機を割り当てるとともに、他の前記グループに属する前記無人航空機を割り当て
、
空中待機している他の前記グループと地上待機している他の前記グループとがあり、
前記無人航空機割当機能において、地上待機している他の前記グループより、空中待機している他の前記グループに属する無人航空機を優先して割り当てることを特徴とする空間ディスプレイプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間ディスプレイ装置、空間ディスプレイ方法、及び空間ディスプレイプログラムに関し、特に複数の無人航空機を発光させて空中に画像を表示させることを特徴とする空間ディスプレイ装置、空間ディスプレイ方法、及び空間ディスプレイプログラムに関する。
【背景技術】
【0002】
近年、ドローン、小型ヘリコプター、又はマルチコプターなどと呼ばれる無人航空機(unmanned aerial vehicle:UAV)の利用が広がっている。例えば、遊園地において、乗り物又はショーなどのアトラクションに参加する客を楽しませるための特殊効果にUAVの利用が提案されている(特許文献1参照)。
【0003】
また、複数のUAVを使用して空中に画像を表示する空間ディスプレイ装置、空間ディスプレイ方法、及び空間ディスプレイプログラムの利用も広がり始めている。このような空間ディスプレイ装置は、例えば各地で行われているドローンショーに利用される。ドローンショーで利用される空間ディスプレイ装置のUAVは、LEDなどの発光部を備え、複数のUAVが相互に協調して編成飛行し、主に夜空又は舞台上に美しいイルミネーションを描画して観客を楽しませる。
【0004】
一般的に、上記のような空間ディスプレイ装置に用いられるUAVは、複数のUAVが同期して特定の軌道で飛行するとともに、特定のタイミングで発光するように予めプログラミングされる。これらのUAVは、一旦飛び立ったらGPS信号を受信して自機の現在位置を認識しながら、予め作成されたプログラミングに従って自律制御により飛行する。
【0005】
複数のUAVを用いた空間ディスプレイ装置等では、画像を空中に効率よく表示することが求められた。特に用いる無人航空機の数が増えるにつれて、複数の無人航空機を効率良く運用することが求められるようになってきた。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、本発明は、複数の無人航空機を効率良く運用することができる空間ディスプレイ装置、空間ディスプレイ方法、及び空間ディスプレイプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
すなわち、第1の態様の空間ディスプレイ装置は、複数の無人航空機を複数のグループに分け、複数の無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置であって、空間ディスプレイ装置の処理部は、画像に関する画像データを取得する画像データ取得部と、画像データに基づいて、画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出部と、画像データに基づいて、発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成部と、画像データに含まれる画像の色彩に関する色彩データに基づいて、ドットごとの発光態様を規定する発光パターン情報を生成する発光処理部と、ドットごとに無人航空機を割り当てる無人航空機割当部と、画像を、複数のグループの何れかに割り当てる画像割当部と、ドットごとに割り当てられた無人航空機の各々に対して、ドットに対応する位置情報及び発光パターン情報を送信する送信部と、画像が割り当てられたグループに含まれる無人航空機の数が、ドット数算出部が算出したドットの数を充足するか否かを判定する機数充足判定部と、を備え、機数充足判定部が、無人航空機の数が、ドット数算出部が算出したドットの数を充足すると判定した場合は、無人航空機割当部は、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当て、機数充足判定部が、無人航空機の数が、ドット数算出部が算出したドットの数を充足しないと判定した場合は、無人航空機割当部は、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当てるとともに、他のグループに属する無人航空機を割り当てることを特徴とする。
【0009】
第2の態様は、第1の態様に係る空間ディスプレイ装置において、機数充足判定部が、無人航空機の数が、ドット数算出部が算出したドットの数を充足しないと判定した場合であって、ドットに、他のグループに属する無人航空機を割り当てることができない場合は、位置情報生成部は、画像が割り当てられたグループに属する無人航空機の数に合わせたドットの数の各々のドットごとの位置情報を生成し、無人航空機割当部は、無人航空機の数に合わせたドットの数の各々のドットごとに、画像が割り当てられたグループに属する無人航空機を割り当てることとしてもよい。
【0010】
第3の態様は、第1の態様に係る空間ディスプレイ装置において、画像は動画を含み、空間ディスプレイ装置の処理部は、画像データに含まれる画像の動画部分に関する動画データに基づいて、動画部分を構成するドットごとの飛行ルート、飛行タイミング、及び飛行速度を規定する飛行パターン情報を生成する飛行制御部を備え、送信部は、動画部分を構成するドットごとに割り当てられた無人航空機の各々に対して、ドットに対応する位置情報及び発光パターン情報とともに、飛行パターン情報を送信することとしてもよい。
【0011】
第4の態様は、第1の態様に係る空間ディスプレイ装置において、画像は輪郭によって表示され、位置情報生成部は、画像データに基づいて輪郭に関する輪郭データを取得して、輪郭データに基づいて、輪郭をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成することとしてもよい。
【0012】
第5の態様は、第1の態様に係る空間ディスプレイ装置において、画像は複数のレイヤーにより構成される立体画像であって、位置情報生成部は、画像データに基づいて、複数のレイヤーに分割された画像をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成することとしてもよい。
【0013】
第6の態様は、第1の態様に係る空間ディスプレイ装置において、画像の元となる元画像データを受け付ける外部情報入力部と、画像に関する画像データと元画像データとの対応関係を予め学習した学習モデルを取得する学習モデル取得部と、を備え、画像データ取得部は、外部情報入力部により受け付けられた元画像データを学習モデルに入力することで画像データを取得することとしてもよい。
【0014】
第7の態様は、第1の態様に係る空間ディスプレイ装置において、空中待機している他のグループと地上待機している他のグループとがあり、無人航空機割当部は、地上待機している他のグループより、空中待機している他のグループに属する無人航空機を優先して割り当てることとしてもよい。
【0015】
第8の態様は、第1の態様に係る空間ディスプレイ装置において、発光処理部は、画像に含まれる斜線部及び曲線部に配置され画像の背景との境界を構成するドットの発光パターン情報に含まれる発光色を、背景の色と画像の色との中間色とすることとしてもよい。
【0016】
第9の態様は、第1の態様に係る空間ディスプレイ装置において、無人航空機は、送信部から送信された位置情報及び発光パターン情報を取得する取得部を備えることとしてもよい。
【0017】
第10の態様は、第3の態様に係る空間ディスプレイ装置において、無人航空機は、位置情報及び発光パターン情報とともに送信部から送信された飛行パターン情報を取得する取得部を備えることとしてもよい。
【0018】
第11の態様は、第9又は第10の態様に係る空間ディスプレイ装置において、無人航空機は、自機の異常を検知する異常検知部と、自機の異常に関する異常情報を空間ディスプレイ装置に通知する異常通知部と、を備え、空間ディスプレイ装置の処理部は、無人航空機の異常情報を受付ける異常情報受付部を備え、無人航空機割当部は、異常情報を通知した無人航空機が割り当てられていたドットに、当該無人航空機に代えて他のグループに属する無人航空機を割り当て、送信部は、異常情報を通知した無人航空機に対して、帰還するように帰還指令を送信することとしてもよい。
【0019】
第12の態様は、第11の態様に係る空間ディスプレイ装置において、異常は、バッテリの残量が閾値以下である場合を含むこととしてもよい。
【0020】
第13の態様は、第9又は第10の態様に係る空間ディスプレイ装置において、無人航空機は、自機の発光の光量不足を検知する光量不足検知部と、自機の発光の光量不足に関する光量不足情報を空間ディスプレイ装置に通知する光量不足通知部と、を備え、空間ディスプレイ装置の処理部は、無人航空機の光量不足情報を受付ける光量不足情報受付部を備え、無人航空機割当部は、光量不足情報を通知した無人航空機が割り当てられていたドットに、当該無人航空機と共に他のグループに属する無人航空機を割り当てることとしてもよい。
【0021】
第14の態様は、第9又は第10の態様に係る空間ディスプレイ装置において、無人航空機は、外部の照度を計測する照度センサと、照度センサの計測結果に基づいて、発光パターン情報に含まれる発光輝度を補正する発光輝度補正部と、を備えることとしてもよい。
【0022】
第15の態様に係る空間ディスプレイ方法は、複数の無人航空機を複数のグループに分け、複数の無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置に用いられる空間ディスプレイ方法であって、空間ディスプレイ装置の処理部は、画像に関する画像データを取得する画像データ取得ステップと、画像データに基づいて、画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出ステップと、画像データに基づいて、発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成ステップと、画像データに含まれる画像の色彩に関する色彩データに基づいて、ドットごとの発光態様を規定する発光パターン情報を生成する発光処理ステップと、ドットごとに無人航空機を割り当てる無人航空機割当ステップと、画像を、複数のグループの何れかに割り当てる画像割当ステップと、ドットごとに割り当てられた無人航空機の各々に対して、ドットに対応する位置情報及び発光パターン情報を送信する送信ステップと、画像が割り当てられたグループに含まれる無人航空機の数が、ドット数算出ステップにおいて算出したドットの数を充足するか否かを判定する機数充足判定ステップと、を実行し、機数充足判定ステップにおいて、無人航空機の数が、ドット数算出ステップにおいて算出したドットの数を充足すると判定した場合は、無人航空機割当ステップにおいて、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当て、機数充足判定ステップにおいて、無人航空機の数が、ドット数算出ステップにおいて算出したドットの数を充足しないと判定した場合は、無人航空機割当ステップにおいて、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当てるとともに、他のグループに属する無人航空機を割り当てることを特徴とする。
【0023】
第16の態様に係る空間ディスプレイプログラムは、複数の無人航空機を複数のグループに分け、複数の無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置に用いられる空間ディスプレイプログラムであって、空間ディスプレイ装置の処理部は、画像に関する画像データを取得する画像データ取得機能と、画像データに基づいて、画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出機能と、画像データに基づいて、発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成機能と、画像データに含まれる画像の色彩に関する色彩データに基づいて、ドットごとの発光態様を規定する発光パターン情報を生成する発光処理機能と、ドットごとに無人航空機を割り当てる無人航空機割当機能と、画像を、複数のグループの何れかに割り当てる画像割当機能と、ドットごとに割り当てられた無人航空機の各々に対して、ドットに対応する位置情報及び発光パターン情報を送信する送信機能と、画像が割り当てられたグループに含まれる無人航空機の数が、ドット数算出機能において算出したドットの数を充足するか否かを判定する機数充足判定機能と、を実現し、機数充足判定機能において、無人航空機の数が、ドット数算出機能において算出したドットの数を充足すると判定した場合は、無人航空機割当機能において、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当て、機数充足判定機能において、無人航空機の数が、ドット数算出機能において算出したドットの数を充足しないと判定した場合は、無人航空機割当機能において、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当てるとともに、他のグループに属する無人航空機を割り当てることを特徴とする。
【発明の効果】
【0024】
本発明に係る空間ディスプレイ装置は、複数の無人航空機を複数のグループに分け、複数の無人航空機を発光させて空中に画像を表示する空間ディスプレイ装置であって、空間ディスプレイ装置の処理部は、画像に関する画像データを取得する画像データ取得部と、画像データに基づいて、画像をドットマトリックス表示する場合に発光状態となるドットの数を算出するドット数算出部と、画像データに基づいて、発光状態となるドットの数の各々のドットごとの位置情報を生成する位置情報生成部と、画像データに含まれる画像の色彩に関する色彩データに基づいて、ドットごとの発光態様を規定する発光パターン情報を生成する発光処理部と、ドットごとに無人航空機を割り当てる無人航空機割当部と、画像を、複数のグループの何れかに割り当てる画像割当部と、ドットごとに割り当てられた無人航空機の各々に対して、ドットに対応する位置情報及び発光パターン情報を送信する送信部と、画像が割り当てられたグループに含まれる無人航空機の数が、ドット数算出部が算出したドットの数を充足するか否かを判定する機数充足判定部と、を備え、機数充足判定部が、無人航空機の数が、ドット数算出部が算出したドットの数を充足すると判定した場合は、無人航空機割当部は、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当て、機数充足判定部が、無人航空機の数が、ドット数算出部が算出したドットの数を充足しないと判定した場合は、無人航空機割当部は、ドットごとに、画像が割り当てられたグループに属する無人航空機を割り当てるとともに、他のグループに属する無人航空機を割り当てることを特徴とするので、複数の無人航空機を効率良く運用することができる。
また、空間ディスプレイ方法、及び空間ディスプレイプログラムは、空間ディスプレイ装置と同様に、複数の無人航空機を効率良く運用することができる。
【図面の簡単な説明】
【0025】
【
図1】
図1は本実施形態の空間ディスプレイ装置の概要を説明するための図である。
【
図2】
図2は本実施形態の空間ディスプレイ装置に用いられる無人航空機の外観の一例を示す図である。
【
図3】
図3は本実施形態の空間ディスプレイ装置に用いられる無人航空機の構成の一例について説明するためのブロック図である。
【
図4】
図4は本実施形態の空間ディスプレイ装置のハードウェア構成の一例について説明するためのブロック図である。
【
図5】
図5は本実施形態の空間ディスプレイ装置の機能的構成の一例について説明するためのブロック図である。
【
図6】
図6は本実施形態の空間ディスプレイ装置に用いられるドットマトリックス表示を説明するための図である。
【
図7】
図7は本実施形態の空間ディスプレイ装置に用いられるドットマトリックス表示による立体画像の表示を説明するための図である。
【
図8】
図8は本実施形態の空間ディスプレイ装置の利用例1について説明するための図である。
【
図9】
図9は本実施形態の空間ディスプレイ装置の利用例2について説明するための図である。
【
図10】
図10は本実施形態の空間ディスプレイ装置の利用例3について説明するための図である。
【
図11】
図11は本実施形態に係る空間ディスプレイプログラムのフローチャートの一例である。
【発明を実施するための形態】
【0026】
(空間ディスプレイ装置10の概要について)
図1乃至
図10を参照して、本開示に係る空間ディスプレイ装置10の一実施形態について説明する。
先ず
図1を参照して、本実施形態の空間ディスプレイ装置10の概要について説明する。
本実施形態の空間ディスプレイ装置10は、複数の無人航空機11を複数のグループに分け、複数の無人航空機11(11a、11b、11c、11d、11e、・・・)を発光させて空中13に画像を表示する。
空間ディスプレイ装置10は、例えば1000機の無人航空機11を5つのグループに分けて、1つのグループに均等に200機分配してもよいし、複数の無人航空機11を主として使用するグループとその補助となるグループとの2個のグループに分けてもよい。
主として使用するグループとは、空間ディスプレイ装置10が他のグループより優先して使用する無人航空機11が属するグループのことをいう。
その補助となるグループは、主として使用するグループのみでは無人航空機11の数が足りない場合の不足分の無人航空機11を供給する役割を担い、更には主として使用するグループに属する無人航空機11が故障などにより使用することができなくなった場合にその代用として使用する無人航空機11を提供する役割を担うなど、主として使用するグループの援助をするグループのことをいう。
また、空間ディスプレイ装置10は、複数のグループに無人航空機11を均等に分配する場合のみならず、特定のグループに属する無人航空機11の数を少なくしてもよいし多くしてもよい。
空間ディスプレイ装置10は、パーソナルコンピュータ(以下、PC)、ノートPC、タブレットPC、スマートフォン、及びサーバなどと呼ばれる情報処理装置であり、情報通信ネットワーク17(
図4参照)に接続される。空間ディスプレイ装置10は、汎用の情報処理装置を利用して実現可能であるが、複数の無人航空機11を発光させて空中13に画像を表示させるために特化した情報処理装置であってもよい。
画像とは、静止画であっても動画であってもよく、文字、図画、マーク、コードなどでもよい。画像とは、例えば、QRコード(登録商標)14、アルファベットで表示された文字Japan15、又は毛筆風に表示された漢字16などであってもよい。
画像は、具体的には。文字、絵、3D映像、アニメーション、地図、建物、大きなデザインなどでもよく、例えばイベント若しくは企業のロゴ、企業、商品若しくはサービスの広告・宣伝、又はQRコードなどでもよい。また、動画は、例えば動物、キャラクター、ロボット、機械などのドットマトリックス表示の静止画に動作を加えたアニメーションなどである。
【0027】
アニメーションは、動作を伴う画像であり、後述の元画像データに基づいて作成され、当該アニメーションに基づいて、アニメーションのドットマトリックス表示を構成するドットごとに割り当てられた無人航空機11の飛行パターン及び無人航空機11に搭載された発光部21の発光パターンが決められる。
画像はドットマトリックス表示で表される。ドットマトリックス表示とは、点(ドット)の2次元配列による視覚表現の態様の一つであり、文字、記号、画像を表現するのに使われる。ドットマトリクス表示では、直線及び曲線を点(ドット)の連なりとして表現する。
空間ディスプレイ装置10は、ドットマトリックス表示を構成する点(ドット)ごとに発光する無人航空機11を配置して所定の画像を空中に表示させる。
空間ディスプレイ装置10は、例えば打ち上げ花火を、アニメーションを用いて表現することができる。具体的には、打ち上げ花火の光の粒の一つ一つに無人航空機11を割り当てて、複数の無人航空機11がそれぞれに決められたルートを飛行することで、無人航空機11の発光部21が打ち上げ花火の光の粒の軌跡を表現する。
【0028】
空間ディスプレイ装置10は、無線アンテナ12につながれて、無線アンテナ12を介して無人航空機11と双方向の無線通信を行ってもよい。また空間ディスプレイ装置10は、無人航空機11との間で、SDカード、USBメモリなどの記録メディアを介してデータの受け渡しを行ってもよい。
無人航空機(unmanned aerial vehicle:UAV)11とは、ドローン、小型ヘリコプター、又はマルチコプターなどと呼ばれ、無線による遠隔操作又は自律制御によって飛行する無人の航空機のことをいう。無人航空機11は、具体的には小型のクアッドコプター(4基のモーターを搭載する飛行体)などのことであり、モーターの数はこの限りではなく、6基、8基などを搭載する飛行体であってもよい。
無人航空機11は、各々にLEDなどの発光部21(
図2参照)を備え、適時、発光部21を発光することで空中に画像を表示させる。
図1において5台の無人航空機11(11a、11b、11c、11d、11e)を示しているが、5台に限定されるものではなく、4台以下であってもよく、6台以上であってもよい。空間ディスプレイ装置10は、例えば数10台から数1000台の無人航空機11を用いる。
【0029】
(無人航空機11の構成について)
次に
図2及び
図3を参照して、無人航空機11の構成について説明する。
図2は空間ディスプレイ装置10に用いられる無人航空機11の外観の一例を示す図であり、
図3は空間ディスプレイ装置10に用いられる無人航空機11の構成の一例について説明するためのブロック図である。
図2に示す様に、無人航空機11は、本体部18を中央部に備え、本体部18から四方に延伸する4本のアーム19(第1アーム19a、第2アーム19b、第3アーム19c、及び第4アーム19d)を備える。
4本のアーム19の先端部にはプロペラ20が備えられる。プロペラ20はモーターなどにより構成される飛行駆動機構30(
図3参照)により回転駆動される。具体的には、第1アーム19aの先端部には第1プロペラ20aが備えられ、第2アーム19bの先端部には第2プロペラ20bが備えられ、第3アーム19cの先端部には第3プロペラ20cが備えられ、第4アーム19dの先端部には第4プロペラ20dが備えられる。
図2に示すプロペラ20は2枚羽根プロペラであるが、3枚羽根プロペラ又は4枚羽根プロペラなどであってもよい。
【0030】
図3に示すように、無人航空機11は、通信部22、ROM23、RAM24、記憶部25、制御部26、バッテリ27、入出力インターフェース28などのハードウェア構成を備える。
また、無人航空機11は、飛行駆動部29、飛行駆動機構30、GPS受信機31、照度センサ32、地磁気センサ33、高度センサ34、ジャイロセンサ35、障害物検知カメラ36、及び発光部(LED)21などのハードウェア構成を備え、これらは入出力インターフェース28を介して制御部26とデータの双方向通信可能に接続される。
【0031】
通信部22は、主に空間ディスプレイ装置10及び他の無人航空機11との間の無線通信に用いられる。通信部22の通信方式は、特に限定されるものではなく、Wi-Fi(登録商標)、LoRa(登録商標)、Bluetooth(登録商標)、Zigbee(登録商標)、赤外線無線通信、マイクロ波無線、放送無線、衛星通信などであってもよい。通信部22は、無線アンテナ12を介して、空間ディスプレイ装置10及び他の無人航空機11との間の無線通信を行ってもよい。
【0032】
ROM(Read Only Memory)23は、記録装置として利用でき、無人航空機11の各機能部の動作を制御する上で必要となるファームウェア、各種アプリケーション、及びこれらに利用される各種データなどが記録される。
RAM(Random Access Memory)24は、制御部26がアクセスするメインメモリの構成に用いられ、更には無人航空機11に搭載されたGPS受信機31及び照度センサ32などの各種センサから取得したデータを一時的に保管するために用いられてもよい。
記憶部25は、SDカード、USBメモリなどの記録メディア、又はSSD(Solid State Drive)などの記憶装置であり、後述の発光パターン情報及び飛行パターン情報を記憶する。また、記憶部25は、RAM24の代わりに、GPS受信機31及び照度センサ32などの各種センサから取得したデータを一時的に保管するために用いられてもよい。また、記憶部25は無人航空機11に搭載されず、RAM24が記憶部25の機能を担ってもよい。
【0033】
制御部26は、主に無人航空機11のファームウェアの実行に用いられ、中央処理装置(CPU)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等を含み、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等によって形成された論理回路(ハードウェア)や専用回路によって実現される。
バッテリ27は、無人航空機11の動力源となり各種機能部へ電力を供給する。バッテリ27は、例えばリチウムポリマー電池が使用される。バッテリ27は、過充電から保護するために過充電保護機能のもとで使用される。また、バッテリ27は、バッテリ残量チェック部(図示せず)によってバッテリの残量を監視されて、バッテリの残量が所定値以下となった場合には、ユーザに対してバッテリの残量の不足が報知される。
【0034】
入出力インターフェース28は、飛行駆動部29、飛行駆動機構30、GPS受信機31、照度センサ32、地磁気センサ33、高度センサ34、ジャイロセンサ35、障害物検知カメラ36、及び発光部(LED)21などに対してデータなどの送受信を行うためのインターフェースである。
入出力インターフェース28に用いられる規格は、扱うデータによって使い分けされており複数の規格に対応することとしてもよい。規格の種類としては、USB2.0、USB3.0、RS-232C、IEEE1394、SCSI、SASIなどであってもよい。
飛行駆動部29は、制御部26によって生成された飛行駆動信号に基づいて飛行駆動機構30を駆動制御する。
飛行駆動機構30は、モーターなどで構成されてプロペラ20を回転させるための機構である。
【0035】
GPS(Global Positioning System)受信機31は、無人航空機11の現在位置の緯度、経度、高度の位置情報を取得する。取得された無人航空機11の現在位置の位置情報はRAM24又は記憶部25に記憶される。なお、より正確な位置情報を得るために、携帯電話基地局からの電波、無線通信(Wi-Fi(登録商標)、Bluetooth(登録商標)等)のアクセスポイントからの電波を用いて現在位置を補正するようにしてもよい。また、準天頂衛星システム又はRTK-GPS(Real Time Kinematic - Global Positioning System)を利用して無人航空機11の現在位置の位置情報の精度を高めてもよい。
準天頂衛星システムは、日本が提供する衛星測位システムであり、GPSと同様に位置情報を提供するが、より高い精度を持つ。特に日本の地域での測位精度が向上する。
RTK-GPSは、GPSより得られる位置情報に加えて、地上に設置された電子基準点の補正位置情報を加味して、位置情報の精度を向上させる。GPSより得られる位置情報の一般的な位置誤差は数メートル程度と言われているが、RTK-GPSにより得られる位置情報の位置誤差は数センチメートルとされる。ドローンショーでは、複数の無人航空機11による編隊飛行が行われるため、それぞれの無人航空機11は高精度で空中に配置される必要があり、RTK-GPSが利用されてもよい。
【0036】
照度センサ32は、無人航空機11の外部の照度を計測する。
照度センサ32は、無人航空機11それぞれに搭載され、無人航空機11ごとの外部の照度を計測する。
照度センサ32により得られた測定結果は、後述の発光輝度補正部26fにより利用される。
発光輝度補正部26fは、照度センサ32の計測結果に基づいて、発光部21の発光パターン情報に含まれる発光輝度を補正する。
発光輝度補正部26fは無人航空機11ごとの外部の照度に合わせて発光部21の発光輝度を補正するので、画像を表示させる上で発光部21の輝度の不足を抑制することができる。
発光部21は消費電力が大きいため、発光輝度補正部26fにより発光部21の輝度を適切に補正することで、バッテリ27の容量および飛行時間に与える悪影響を抑制することができる。
【0037】
地磁気センサ33は、無人航空機11がどの方位に飛行移動しているかを検出するために用いられる。
高度センサ34は、無人航空機11が現時点で位置している高度を検出するためのもので、例えば気圧センサを備える。
ジャイロセンサ35は、無人航空機11における加速度変化を検出するもので、無人航空機11の進行方向やその速度、また、姿勢を検出するために用いられる。
障害物検知カメラ36は、無人航空機11の飛行移動に障害となる物体の検知に用いられ、例えば、他の無人航空機11との衝突防止、及び無人航空機11の着陸地点の検出などに用いられる。
発光部21は、無人航空機11の発光に用いられ、主にLEDが利用される。
LEDは、単色のLEDでもよいし、多色のLEDであってもよい。多色のLEDとは、RGB(赤、緑、青)の3色又はRGBW(赤、緑、青、白)の4色の光を混ぜることで多様な色を作り出すものである。また、発光部21は、レーザー光を照射するものであってもよい。
発光部21に用いられるLEDの特徴は、軽量であり、耐久性が高く、高効率であり、高輝度であることが望ましい。
【0038】
制御部26は、ROM23に記憶されたファームウェアをRAM24などで構成されたメインメモリに取り込む。制御部26は、ファームウェアを取り込んだメインメモリにアクセスして、当該ファームウェアを実行する。制御部26はファームウェアを実行することで、取得部26a、異常検知部26b、異常通知部26c、光量不足検知部26d、光量不足通知部26e、及び発光輝度補正部26fなどの機能的構成を備える。
【0039】
取得部26aは、空間ディスプレイ装置10の後述の送信部47から送信された位置情報及び発光パターン情報を取得する。
又は、取得部26aは、位置情報及び発光パターン情報とともに送信部47から送信された飛行パターン情報を取得する。
位置情報とは、空中に表示する画像のマトリックス表示を構成するドットごとの無人航空機11の位置情報のことであり、3次元直交座標系の(x、y、z)で表される。位置情報は、3次元直交座標系の他に、球面座標系、円筒座標系、又は極座標系を用いて表されてもよい。また位置情報は、緯度、経度、及び高さの組合せで表されてもよい。
位置情報は、空中に表示する画像のマトリックス表示を構成するドットごとに固有に存在し、ドットごとに割り当てられた無人航空機11に固有のものとなる。取得部26aは、取得部26aを搭載する無人航空機11に割り当てられたドットに対応する位置情報を受信し取得する。
発光パターン情報とは、空中に表示する画像のマトリックス表示を構成するドットごとの発光態様を規定し、当該ドットごとに割り当てられた無人航空機11の発光部21を制御する制御情報のことである。
発光態様とは、発光部21の発光色、発光輝度、及び発光タイミングのことであり、発光部21にLEDが採用された場合の発光態様は、LEDの発光色、LEDの発光輝度、及びLEDの発光タイミングのことをいう。
飛行パターン情報とは、詳細には後述するが、複数の無人航空機11によって表示される画像の動画部分を構成するドットマトリックス表示のドットごとに割り当てられた無人航空機11の飛行ルート、飛行タイミング、及び飛行速度を規定する。
【0040】
異常検知部26bは、自機の異常を検知する。
異常検知部26bは、飛行前及び飛行中に、自機である無人航空機11を構成する各機能部の異常の発生を検知する。各機能部とは、上述した無人航空機11のハードウェア構成及び上述した無人航空機11の機能的構成を含むものとする。異常検知部26bは、これら無人航空機11のハードウェア構成及び機能的構成に発生した異常を検知する。
異常は、バッテリ27の異常として、バッテリ27の残量が閾値以下である場合を含む。
異常検知部26bは、予定されている無人航空機11の駆動時間に対して、バッテリ27の残量が不足している場合は、バッテリ27の残量が閾値以下であるとして、バッテリ27の異常を検知する。
【0041】
異常通知部26cは、自機の異常に関する異常情報を空間ディスプレイ装置10に通知する。
異常通知部26cは、自機である無人航空機11の異常を異常検知部26bが検知した場合に、通信部22を介して無線通信により当該異常に関する異常情報を空間ディスプレイ装置10に直ちに通知し、空間ディスプレイ装置10は後述の異常情報受付部44によって受け付ける。
自機の異常に関する異常情報とは、自機である無人航空機11に固有の識別情報、無人航空機11を構成する各機能部のうちどこの機能部で異常が生じているか、及び当該異常の程度などの情報を含む。
自機の異常は、例えば、飛行駆動機構30、飛行駆動部29、GPS受信機31、障害物検知カメラ36、及び発光部21の動作不良が挙げられる。
また、自機の異常は、例えば、照度センサ32、地磁気センサ33、及び高度センサ34の動作不良が挙げられる。
また、自機の異常は、例えば、制御部26の各機能部(26a~26f)の動作不良が挙げられる。
【0042】
光量不足検知部26dは、自機の発光の光量不足を検知する。
光量不足検知部26dは、自機である無人航空機11の発光部21の発光中の光量不足を検知する。
光量不足検知部26dは、照度センサ32を用いて自機の発光の光量不足を検知してもよい。
自機の発光の光量不足とは、空中に表示する画像の背景の照度に対して、無人航空機11の発光部21の発光の光量が不足していることをいう。光量不足検知部26dは、無人航空機11の発光部21が正常に動作していても、空中に表示する画像の背景の照度に対して、発光部21の発光の光量が不足している場合には自機の発光の光量不足を検知する。
【0043】
光量不足通知部26eは、自機の発光の光量不足に関する光量不足情報を空間ディスプレイ装置10に通知する。
光量不足通知部26eは、自機である無人航空機11の発光部21の発光の光量不足を検知した場合、通信部22を介して無線通信により当該光量不足に関する光量不足情報を空間ディスプレイ装置10に通知し、空間ディスプレイ装置10は後述の光量不足情報受付部45によって受け付ける。
自機の発光の光量不足に関する光量不足情報とは、自機である無人航空機11に固有の識別情報、無人航空機11の発光部21の光量であること、及び光量不足の程度などの情報を含む。
【0044】
発光輝度補正部26fは、前述の通り、照度センサ32の計測結果に基づいて、発光パターン情報に含まれる発光輝度を補正する。
発光輝度とは、発光部21の発光輝度のことであり、発光部21にLEDが採用された場合は、LEDの発光輝度のことをいう。
【0045】
(空間ディスプレイ装置10のハードウェア構成について)
次に
図4を参照して、空間ディスプレイ装置10のハードウェア構成の一例について説明する。
図4は空間ディスプレイ装置10のハードウェア構成の一例について説明するためのブロック図である。
空間ディスプレイ装置10は、通信部10a、ROM10b、RAM10c、記憶部10d、処理部10e、及び入出力インターフェース10fなどを備える。
更に、空間ディスプレイ装置10は、入出力インターフェース10fを介してデータの入出力を行う、表示部10g、操作入力部10h、及び外部情報入力部10iなどを備える。
【0046】
通信部10aは、無人航空機11及び他の情報処理装置との間の双方向通信を行う機能を備える。
通信部10aは、無人航空機11との間の双方向通信を行う場合、無線通信により行い、無線アンテナ12(
図1参照)を介して無線通信を行ってもよいし、或いは情報通信ネットワーク17に繋がる無線アンテナ(図示せず)を介して無線通信を行ってもよい。無線通信の方式は、特に限定されるものではなく、Wi-Fi(登録商標)、LoRa(登録商標)、Bluetooth(登録商標)、Zigbee(登録商標)、赤外線無線通信、マイクロ波無線、放送無線、衛星通信などであってもよい。
他の情報処理装置とは、他の空間ディスプレイ装置10であってもよいし、その他の情報処理装置であってもよい。
通信部10aは、他の情報処理装置との間の双方向通信を行う場合、情報通信ネットワーク17を介して行ってもよいし、直接的に他の情報処理装置と接続して双方向通信を行ってもい。通信部10aは、他の情報処理装置との間で行う通信に、有線通信を用いてもよく、又は無線通信を用いてもよい。
後述の外部情報入力部10iは、通信部10aを介して、他の情報処理装置より元画像データを受け入れてもよい。
【0047】
ROM10bは、記録装置として利用でき、空間ディスプレイ装置10の各機能部の動作を制御する上で必要となるBIOS(Basic Input Output System)、及びBIOSに利用される各種データなどが記録される。
BIOSとは、情報処理装置としての空間ディスプレイ装置10の基本的な入出力機能を管理するプログラムのことであり、空間ディスプレイ装置10の電源を入れた時に最初に動作し、通信部10a、ROM10b、RAM10c、記憶部10d、処理部10e、及び入出力インターフェース10fなどのハードウェアを制御し、OS(Operating System:基本ソフト)の起動の準備をする。
【0048】
RAM10cは、処理部10eがアクセスするメインメモリの構成に用いられ、更には空間ディスプレイ装置10が取得し又は生成した各種データを記憶部10dに記憶する前に一時的に保管するために用いられる。
【0049】
記憶部10dは、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、オンラインストレージ(Online Storage)などにより実現され、OS、後述の空間ディスプレイプログラム、他のアプリケーションソフト、及びこれらのプログラムが利用する各種データなどが記録される。また、記憶部10dは、空間ディスプレイ装置10が取得し又は生成した各種データを記憶する。
【0050】
処理部10eは、CPU、MPU、GPU等を含み、集積回路(ICチップ、LSI)等により形成された論理回路や専用回路によって実現される。
入出力インターフェース10fは、表示部10g、操作入力部10h、及び外部情報入力部10iなどに対してデータなどの送受信を行うためのインターフェースである。
入出力インターフェース10fに用いられる規格は、扱うデータによって使い分けされており複数の規格に対応することとしてもよい。規格の種類としては、HDMI(登録商標)、USB2.0、USB3.0、RS-232C、IEEE1394、SCSI、SASIなどであってもよい。
【0051】
表示部10gは空間ディスプレイ装置10のモニタであり、各種データを表示する。
操作入力部10hは、ユーザによる空間ディスプレイ装置10の操作の入力を受け付ける。操作は、キーボード、マウスなどで行われ、キーボード、マウスなどの出力信号が操作入力部10hに入力される。
外部情報入力部10iは、空間ディスプレイ装置10が表示する画像の元となる元画像データを受け付ける。
元画像データとは、空間ディスプレイ装置10が表示する画像の素材となる画像データであり、元画像データに基づいてドットマトリックス表示で表される画像を得る。
また、元画像データは、空間ディスプレイ装置10の使用者がこの元画像データから着想を得て複数の無人航空機11を使って空中に表示させたい画像を導き出すものである。
【0052】
画像データとは、空中に表示する画像の大きさ及び形状に関する形状データ、当該画像の色彩に関する色彩データ、及び当該画像の動画部分に関する動画データを含む。
また、画像データは、空中に表示する画像の輪郭に関する輪郭データを含む。
形状データは、空中に表示する画像の大きさ及び形状を規定するとともに、当該画像の表示態様を規定する。画像の表示態様とは、画像の輪郭による表示、画像の二次元による表示、及び画像の三次元による表示の何れかのことである。
輪郭データは、空中に表示する画像と当該画像の背景との境界線の形状を規定するものであって、形状データに含まれてもよい。
後述のドット数算出部39は、画像データに含まれる形状データに基づいて当該画像をドットマトリックス表示する場合に発光状態となるドットの数を算出する。
後述の位置情報生成部40は、画像データに含まれる形状データに基づいて当該画像をドットマトリックス表示する場合に発光状態となるドットの数の各々のドットごとの位置情報を生成する。
色彩データは、空中に表示する画像の色彩を規定する。
後述の発光処理部42は、画像データに含まれる色彩データに基づいて、当該画像をドットマトリックス表示する場合に発光状態となるドットごとの発光態様を規定する発光パターン情報を生成する。
発光態様とは、当該画像をドットマトリックス表示する場合に発光状態となるドットごとの発光色、発光輝度、及び発光タイミングのことであるとともに、無人航空機11の発光部21の発光色、発光輝度、及び発光タイミングのことをいう。
動画データとは、空中に表示する画像の動画部分について規定し、具体的には動画部分の時間、空中に表示する画像中における動画部分の位置、並びに当該動画部分の位置の動きの態様及び速さなどを規定する。
後述の飛行制御部41は、画像データに含まれる動画データに基づいて、当該画像をドットマトリックス表示する場合に発光状態となるドットのうち当該動画部分を構成するドットごとの飛行ルート、飛行タイミング、及び飛行速度を規定する飛行パターン情報を生成する。
【0053】
空間ディスプレイ装置10が空中に表示する画像に関する画像データと元画像データとの対応関係を予め学習した学習モデルを用いて、外部情報入力部10iによって受け付けられた元画像データに基づいて当該画像の元となる画像データを取得してもよい。
学習モデルは、機械学習により学習されて、元画像データを画像認識することで、当該元画像データがどのカテゴリに属するかを分類する画像分類してもよいし、元画像データに写る物体の物体検知をしてもよい。
学習モデルは、例えば、元画像データを所定のカテゴリに画像分類し、元画像データが属するカテゴリに関連のある画像データを出力してもよい。具体的には、元画像データが「野球選手がホームランを打つ映像」であった場合に、この元画像データを入力された学習モデルは、この元画像データを「ホームラン」に関する映像として画像分類し、文字「ホームラン」の画像データを出力する。後述の画像データ取得部38は、文字「ホームラン」の画像データを取得する。
また、学習モデルは、例えば、元画像データに所定の物体が含まれている場合に、この所定の物体を物体検知し、検知された物体に関連のある画像データを出力してもよい。具体的には、元画像データが「トランプのハートの7」を含んでいる場合に、この元画像データを入力された学習モデルは、この元画像データに含まれる物体を「トランプのハートの7」と検知し、ハートの図形の画像データと数字「7」の画像データを出力する。後述の画像データ取得部38は、ハートの図形の画像データと数字「7」の画像データを取得する。
【0054】
元画像データは、静止画であっても動画であってもよく、或いは、文章、音楽、記号、暗号などでもよい。外部情報入力部10iは、これらの元画像データを受け付けて空間ディスプレイ装置10に入力する。
外部情報入力部10iは、カメラ、ビデオカメラ、マイク、スキャナなどの外部の入力装置と接続されて、これらの入力装置の出力データを入力データとして受け付けてもよい。
【0055】
カメラは、超高速カメラであってもよく、手品師の手捌き、動物の動作、機械の動作、自然現状の映像、及び天体の動きなどの高速現象を高速撮影により捉えて、その一瞬を切り取って外部情報入力部10iに入力してもよい。この場合、空間ディスプレイ装置10は、複数の無人航空機11を使って、高速現象の一瞬を切り取った画像のドットマトリックス表示を空中に映し出すことができる。
またカメラは、赤外線カメラであってもよく、物体から放射される赤外線を捉えた熱分布画像を、外部情報入力部10iを介して空間ディスプレイ装置10に入力してもよい。
またカメラは、X線カメラであってもよく、例えばレントゲンにより取得した身体の内部の画像を、外部情報入力部10iを介して空間ディスプレイ装置10に入力してもよい。
また、外部情報入力部10iは、モーションキャプチャーに用いられるトラッカーが検出した被検出物の動作を元画像データとして受け付けてもよい。
モーションキャプチャーとは、被検出物となる現実の人物、動物、又は物体の動きをデジタル的に記録する技術のことをいう。モーションキャプチャーの方式は、光学式、慣性センサ式、及び磁気式などがあり、光学式の場合はトラッカーとマーカーとの組合せによって被検出物の動きを記録する。例えば、光学式のモーションキャプチャーでは、被検出物となる人物の身体に複数のマーカーを装着し、このマーカーの動きをトラッカーによって検出することで人物の動作をデジタル的に記録することができる。
【0056】
外部情報入力部10iは、CTスキャン画像、MRI画像、超音波断層画像、核医学検査画像、及び血管造影画像などの医療現場で取得する画像の入力を受け付けて、空間ディスプレイ装置10に入力してもよい。
また、外部情報入力部10iは、防犯カメラ、気象庁ライブ映像、コンサートホールライブ映像、競技場ライブ映像、演劇ホールライブ映像、動植物園ライブ映像、天体観測ライブ映像などの定点観測カメラが撮影する現時点の様子を示すリアルタイム映像の入力を受け付けて、空間ディスプレイ装置10に入力してもよい。空間ディスプレイ装置10は、複数の無人航空機11を使って、リアルタイム映像のドットマトリックス表示を空中に映し出すことができる。
また、外部情報入力部10iは、自動車、オートバイ、自転車などの乗り物に搭載されたカメラが撮影する映像の入力を受け付けて、空間ディスプレイ装置10に入力してもよい。空間ディスプレイ装置10は、複数の無人航空機11を使って、自動車、オートバイ、自転車などの乗り物から見た映像のドットマトリックス表示を空中に映し出すことができる。空間ディスプレイ装置10は、自動車、オートバイ、自転車などのレースの実況中継映像を複数の無人航空機11を使って空中に表示することができ、多くの観客に臨場感のある映像を見せることができる。
【0057】
空間ディスプレイ装置10が空中に表示させる画像が、例えばドローンショーにおけるアニメーションである場合、以下の手順によりアニメーションが作成される。
(手順1)
先ず、元画像データに基づいて、アニメーションを作成する。
アニメーションを作成するために、登場する人及び物、並びに使用する背景を決める。登場する人とは、人物、動物、マスコットなどのことをいう。登場する物とは、乗り物、建物、用品、道具などの他、文字、イラスト、マーク、コードなどでもよい。コードとは、QRコード、バーコード、暗号などでもよい。背景とは、例えば、山、森、川、夜空、雪景色、打ち上げ花火、又は風景などのことをいう。
アニメーションにおいて、登場する人及び物が決まれば、これらにどのような動きをさせるかを決定する。
【0058】
(手順2)
次に、無人航空機11の種類及び機数を決める。
アニメーションを表現するための無人航空機11の種類及び機数を決める。
アニメーションが作成されたら、このアニメーションをドットマトリックス表示に変換して、アニメーションを表示するために必要となるドットの数を決定する。決定されたドットの数が、使用する無人航空機11の機数となる。
無人航空機11の種類は、可能連続飛行時間、及び発光色の数などにより決定される。無人航空機11の可能連続飛行時間は、少なくともアニメーションの上映時間よりも長くする必要がある。無人航空機11の発光色の数は、多いほど多彩なアニメーションにすることができる。
【0059】
(手順3)
無人航空機11の飛行パターン情報を作成する。
アニメーションを構成するドットマトリックス表示のドットごとに割り当てられた無人航空機11の飛行ルート、飛行タイミング、及び飛行速度を規定する飛行パターン情報を作成する。飛行パターン情報は、ドットマトリックス表示のドットごとに異なる。複数の無人航空機11が各々の飛行パターン情報に従って飛行することで、特定のパターン又はデザインを作り出す。飛行パターン情報は、複数の無人航空機11が同時に飛行して、空中でシンクロナイズ(同期化)させることでアニメーションが実現される。
なお、アニメーションに動きが伴わない場合、従って、複数の無人航空機11を発光させて空中に表示する画像が静止画である場合、飛行パターン情報は静止画のドットマトリックス表示を構成するドットごとの位置情報までの飛行ルートを含むものとなる。また、飛行パターン情報は、無人航空機11の帰還ルートを含んでもよいし、帰還ルートを含まなくてもよい。飛行パターン情報に帰還ルートを含まない場合、無人航空機11は所定の帰還場所に向ってGPS信号により現在位置を確認しながら自律制御により飛行ルートを選択する。
【0060】
(手順4)
無人航空機11の発光パターン情報を作成する。
元画像データの色彩に基づいて、アニメーションを表示するドットマトリックス表示のドットごとに割り当てられた無人航空機11の発光態様を規定する発光パターン情報を作成する。発光態様とは、無人航空機11の発光部21のLEDの発光色、LEDの発光輝度、及びLEDの発光タイミングのことをいう。LEDの色及び点滅パターンなどを設定して、文字、コード、図形などのデザインを描画する。
【0061】
(空間ディスプレイ装置10の機能的構成について)
次に
図5を参照して、空間ディスプレイ装置10の機能的構成の一例について説明する。
図5は空間ディスプレイ装置10の機能的構成の一例について説明するためのブロック図である。
空間ディスプレイ装置10は、記憶部10dに記憶された後述の空間ディスプレイプログラムをRAM10cなどで構成されたメインメモリに取り込む。処理部10eは、空間ディスプレイプログラムを取り込んだメインメモリにアクセスして、当該空間ディスプレイプログラムを実行する。
空間ディスプレイ装置10は空間ディスプレイプログラムを実行することで、処理部10eに、学習モデル取得部37、画像データ取得部38、ドット数算出部39、位置情報生成部40、飛行制御部41、発光処理部42、無人航空機割当部43、異常情報受付部44、光量不足情報受付部45、画像割当部46、送信部47、及び機数充足判定部48などの機能部を備える。
【0062】
学習モデル取得部37は、画像に関する画像データと元画像データとの対応関係を予め学習した学習モデルを取得する。
詳細には、学習モデル取得部37は、空中に表示する画像に関する画像データと元画像データとの対応関係を予め学習した学習モデルを取得する。
学習モデルは、機械学習によって学習された機械学習モデルであってもよいし、空中に表示する画像に関する画像データと元画像データとの対応関係を規定したテーブルであってもよい。
テーブルとは、例えば元画像データの取得時に当該元画像データに付与されたメタデータと空中に表示する画像に関する画像データとを対応付けたテーブルのことであってもよい。メタデータとは、例えば、元画像データを分類するための文字情報、元画像データの属性を示す文字情報、又は元画像データに含まれる物体を示す文字情報なのであってもよい。
後述の画像データ取得部38は、当該テーブルを参照して、元画像データに基づいて画像データを取得してもよい。
【0063】
画像データ取得部38は、画像に関する画像データを取得する。
詳細には、画像データ取得部38は、複数の無人航空機11を発光させて空中に表示する画像に関する画像データを取得する。
画像に関する画像データは、画像の形状データ、色彩データ、及び動画データを含み、元画像データに基づいて取得されるものである。
画像データ取得部38は、ユーザによって外部情報入力部10iへ入力された画像データを取得してもよい。
画像データ取得部38は、外部情報入力部10iにより受け付けられた元画像データを学習モデルに入力することで画像データを取得することとしてもよい。
【0064】
ドット数算出部39は、画像データに基づいて、画像をドットマトリックス表示する場合に発光状態となるドットの数を算出する。
ドット数算出部39は、画像データに含まれる形状データに基づいて、複数の無人航空機11を発光させて空中に表示する画像をドットマトリックス表示する場合に発光状態となるドットの数を算出する。
発光状態とは、点灯、点滅、及びフラッシュなどの状態を含み、画像が空中に表示されている間に1度でも光を発する状態を含む。
ドット数算出部39は、空中に表示する画像をドットマトリックス表示する際に点灯状態にならないドットは数に含めない。従って、空中に表示する画像をドットマトリックス表示する際に点灯状態にならないドットには無人航空機11は割り当てられないので、画像の表示に寄与しない無人航空機11を使用しないため無人航空機11を効率よく運用することができる。
【0065】
位置情報生成部40は、画像データに基づいて、発光状態となるドットの数の各々のドットごとの位置情報を生成する。
具体的には、位置情報生成部40は、画像データに含まれる形状情報に基づいて、発光状態となるドットの数の各々のドットごとの位置情報を生成する。
位置情報とは、前述の通り、空中に表示する画像のマトリックス表示を構成するドットごとに固有に存在し、ドットごとに割り当てられた無人航空機11に固有のものとなる。
空中に表示する画像が輪郭によって表示される場合、位置情報生成部40は、画像データに基づいて輪郭に関する輪郭データを取得して、輪郭データに基づいて、輪郭をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成する。
言い換えると、位置情報生成部40は、空中に表示する画像が輪郭によって表示される場合、画像データに含まれる形状データに基づいて輪郭に関する輪郭データを取得して、輪郭データに基づいて、輪郭をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成する。
【0066】
ドットマトリックス表示を構成するドットの一つ一つは、無人航空機11の発光部21に相当する。
画像が複数のレイヤーにより構成される立体画像である場合は、位置情報生成部40は、画像データに基づいて、複数のレイヤーに分割された画像をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成する。
【0067】
図6及び
図7を参照してドットマトリックス表示について説明する。
図6は空間ディスプレイ装置10に用いられるドットマトリックス表示を説明するための図であり、
図7は空間ディスプレイ装置10に用いられるドットマトリックス表示による立体画像の表示を説明するための図である。
ドットマトリックス表示は、2次元配列状に並べられたドット(点)により文字又は画像などを表示する。この実施形態で用いるドットマトリックス表示は、縦8個の点、横8個の点の配列を用いるが、この限りではなく例えば縦6個の点、横6個の点の配列、縦12個の点、横12個の点の配列などであってもよい。
【0068】
図6を参照して、ドットマトリックス表示の一例であるアルファベット「R」49の表示について説明する。
図6(a)はアルファベット「R」49のドットマトリックス表示に変換する前の状態を示し、
図6(b)はアルファベット「R」50のドットマトリックス表示に変換した後の状態を示している。
アルファベット「R」50のドットマトリックス表示は、30個のドットにより表示される。
図6(b)において、30個のドットのうち6個のドットに符号51~56を付している。30個のドットのそれぞれは、発光状態にある無人航空機11の発光部21が割り当てられる。アルファベット「R」50のドットマトリックス表示は、64台の無人航空機11を用いて2次元配列状に配置し、そのうちの30台の無人航空機11の発光部21を発光状態にしてもよいし、30台の無人航空機11を用いて、全ての無人航空機11の発光部21を発光状態にしてアルファベット「R」50のドットマトリックス表示としてもよい。
【0069】
次に
図7を参照して、ドットマトリックス表示による立体画像の表示について説明する。
図7は、立体画像が複数枚のレイヤーを重ねて構成されていることを示す。各レイヤーは、縦8個の点、横8個の点の2次元配列状のドットマトリックス表示により表される。
空間ディスプレイ装置10によって表示される画像が立体画像の場合、
図7に示す様に、立体画像は7枚のレイヤーを重ねて表現される。
図7に示す7枚のレイヤーは、それぞれ2次元配列状のドットマトリックス表示であり、第1レイヤー60、第2レイヤー61、第3レイヤー62、第4レイヤー63、第5レイヤー64、第6レイヤー65、及び第7レイヤー66より構成される。
ドット数算出部39は、画像データに含まれる形状データに基づいて、複数のレイヤー(第1レイヤー60~第7レイヤー66)の各々において、複数の無人航空機11を発光させて空中に表示する画像をドットマトリックス表示する場合に発光状態となるドットの数を算出する。
位置情報生成部40は、複数のレイヤー(第1レイヤー60~第7レイヤー66)の各々において、画像データに基づいて、これらレイヤーに分割された画像をドットマトリックス表示する場合に発光状態となるドットごとの位置情報を生成する。
【0070】
飛行制御部41は、画像データに含まれる画像の動画部分に関する動画データに基づいて、動画部分を構成するドットごとの飛行ルート、飛行タイミング、及び飛行速度を規定する飛行パターン情報を生成する。
空中に表示する画像が立体画像の場合、飛行制御部41は、複数のレイヤー(第1レイヤー60~第7レイヤー66)の各々において、画像データに含まれる立体画像の動画部分に関する動画データに基づいて、動画部分を構成するドットごとの飛行ルート、飛行タイミング、及び飛行速度を規定する飛行パターン情報を生成する。
【0071】
発光処理部42は、画像データに含まれる画像の色彩に関する色彩データに基づいて、空中に表示する画像をドットマトリックス表示する場合に発光状態となるドットごとの発光態様を規定する発光パターン情報を生成する。
空中に表示する画像が立体画像の場合、発光処理部42は、複数のレイヤー(第1レイヤー60~第7レイヤー66)の各々において、画像データに含まれる画像の色彩に関する色彩データに基づいて、ドットごとの発光態様を規定する発光パターン情報を生成する。
【0072】
無人航空機割当部43は、空中に表示する画像をドットマトリックス表示する場合に発光状態となるドットごとに無人航空機11を割り当てる。
【0073】
異常情報受付部44は、無人航空機11の異常情報を受付ける。
異常情報受付部44は、無人航空機11の異常検知部26bが自機の異常を検知し異常通知部26cが当該異常に関する異常情報を空間ディスプレイ装置10に通知してきた場合に、当該異常情報を受付ける。
異常情報を受付けた空間ディスプレイ装置10の無人航空機割当部43は、異常情報を通知した無人航空機11が割り当てられていたドットに、当該無人航空機11に代えて他のグループに属する無人航空機11を割り当てる。
そして、送信部47は、異常情報を通知した無人航空機11に対して、帰還するように帰還指令を送信する。
更に、送信部47は、異常情報を通知した無人航空機11に代えて割り当てた他のグループに属する無人航空機11に対して、異常情報を通知した無人航空機11が割り当てられていたドットに対応する位置情報及び発光パターン情報、又は位置情報、発光パターン情報、及び飛行パターン情報を送信する。
異常情報を通知した無人航空機11に代えて割り当てた他のグループに属する無人航空機11は、異常情報を通知した無人航空機11が割り当てられていたドットに対応する位置情報及び発光パターン情報、又は、位置情報、発光パターン情報、及び飛行パターン情報を取得部26aにより取得して、異常情報を通知した無人航空機11の代わりに運用される。
【0074】
光量不足情報受付部45は、無人航空機11の光量不足情報を受付ける。
光量不足情報受付部45は、無人航空機11の光量不足検知部26dが自機の発光の光量不足を検知し光量不足通知部26eが当該光量不足に関する光量不足情報を空間ディスプレイ装置10に通知してきた場合に、当該光量不足情報を受付ける。
光量不足情報を受付けた空間ディスプレイ装置10の無人航空機割当部43は、光量不足情報を通知した無人航空機11が割り当てられていたドットに、当該無人航空機と共に他のグループに属する無人航空機11を割り当てる。
この場合、送信部47は、光量不足情報を通知した無人航空機11が割り当てられていたドットに割り当てられた他のグループに属する無人航空機11に対して、光量不足情報を通知した無人航空機11が割り当てられていたドットに対応する位置情報及び発光パターン情報、又は、位置情報、発光パターン情報、及び飛行パターン情報を送信する。
これにより、光量不足となっていたドットに対して、2機の無人航空機11が割り当てられて発光するので、空中に表示する画像の背景の輝度に対して、十分な光量を与えることが可能となる。
【0075】
画像割当部46は、空中に表示する画像を、複数のグループの何れかに割り当てる。
画像割当部46は、複数の無人航空機11が分配された複数のグループのうちの何れかに空中に表示する画像を割り当てる。当該画像が割り当てられるグループは、1個でもいいし、2個以上のグループであってもよい。
【0076】
送信部47は、空中に表示する画像をドットマトリックス表示する場合に発光状態となるドットごとに割り当てられた無人航空機11の各々に対して、当該ドットに対応する位置情報及び発光パターン情報を送信する。
空中に表示する画像が動画を含む場合は、送信部47は、動画部分を構成するドットごとに割り当てられた無人航空機11の各々に対して、当該ドットに対応する位置情報及び発光パターン情報とともに、飛行パターン情報を送信する。
【0077】
ドットマトリックス表示を構成するドットごとに割り当てられた無人航空機11の飛行中に、送信部47は飛行中の当該無人航空機11の各々に対して、当該無人航空機11が割り当てられたドットに対応する位置情報及び発光パターン情報を送信してもよい。
この場合、無人航空機11の取得部26aは、送信部47から送信された位置情報及び発光パターン情報を飛行中に受信することができる。
これにより、空間ディスプレイ装置10は、飛行中の無人航空機11に対して新たに加えられた元画像データに基づいて生成された位置情報及び発光パターン情報を送信することができるので、空間ディスプレイ装置10によって表示される画像をリアルタイムに新たに加えられた元画像データに基づいて変化させることができる。
【0078】
画像が動画である場合は、送信部47は、飛行中のドットごとに割り当てられた無人航空機11の各々に対して、ドットに対応する位置情報及び発光パターン情報とともに、飛行パターン情報を送信してもよい。
即ち、画像が動画である場合は、ドットマトリックス表示を構成するドットごとに割り当てられた無人航空機11の飛行中に、送信部47は当該無人航空機11の各々に対して、ドットに対応する位置情報及び発光パターン情報とともに、飛行パターン情報を送信してもよい。
無人航空機11の取得部26aは、位置情報及び発光パターン情報とともに送信部47から送信された飛行パターン情報を飛行中に受信することができる。
これにより、画像が動画であっても、空間ディスプレイ装置10は、飛行中の無人航空機11に対して新たに加えられた元画像データに基づいて生成された位置情報、発光パターン情報、及び飛行パターン情報を送信することができるので、空間ディスプレイ装置10によって表示される画像をリアルタイムに新たに加えられた元画像データに基づいて変化させることができる。
【0079】
機数充足判定部48は、画像が割り当てられたグループに含まれる無人航空機11の数が、ドット数算出部39が算出したドットの数を充足するか否かを判定する。
機数充足判定部48は、画像が割り当てられたグループに含まれる無人航空機11の数が、ドット数算出部39が算出したドットの数と等しい又は大きい場合に、画像が割り当てられたグループに属する無人航空機11の数が、ドット数算出部39が算出したドットの数を充足すると判定する。
その一方で、機数充足判定部48は、画像が割り当てられたグループに含まれる無人航空機11の数が、ドット数算出部39が算出したドットの数より小さい場合に、画像が割り当てられたグループに属する無人航空機11の数が、ドット数算出部39が算出したドットの数を充足しないと判定する。
【0080】
機数充足判定部48が、画像が割り当てられたグループに含まれる無人航空機11の数が、ドット数算出部39が算出したドットの数を充足すると判定した場合は、無人航空機割当部43は、ドットごとに、画像が割り当てられたグループに属する無人航空機11を割り当てる。
その一方で、機数充足判定部48が、画像が割り当てられたグループに含まれる無人航空機11の数が、ドット数算出部39が算出したドットの数を充足しないと判定した場合は、無人航空機割当部43は、ドットごとに、画像が割り当てられたグループに属する無人航空機11を割り当てるとともに、他のグループに属する無人航空機11を割り当てる。
この場合、無人航空機割当部43は、画像が割り当てられたグループに属する無人航空機11を、画像をドットマトリックス表示する場合に発光状態となるドットに割り当て、画像が割り当てられたグループに属する無人航空機11の数が足りない分について、他のグループに属する無人航空機11を用いて像をドットマトリックス表示する場合に発光状態となるドットに割り当てる。
なお、他のグループは、空中待機又は地上待機しており、無人航空機割当部43は、地上待機している他のグループより、空中待機している他のグループに属する無人航空機11を優先して割り当てることとしてもよい。
【0081】
機数充足判定部48が、無人航空機11の数が、ドット数算出部39が算出したドットの数を充足しないと判定した場合であって、空中に表示する画像をドットマトリックス表示する場合に発光状態となるドットに、他のグループに属する無人航空機11を割り当てることができない場合は、位置情報生成部40は、画像が割り当てられたグループに属する無人航空機11の数に合わせたドットの数の各々のドットごとの位置情報を生成し、無人航空機割当部43は、無人航空機11の数に合わせたドットの数の各々のドットごとに、画像が割り当てられたグループに属する無人航空機11を割り当てる。
即ち、機数充足判定部48が、無人航空機11の数が、ドット数算出部39が算出したドットの数を充足しないと判定した場合であって、画像をドットマトリックス表示する場合に発光状態となるドットに、他のグループに属する無人航空機11を割り当てることができない場合は、画像をドットマトリックス表示する場合の発光状態となるドットの数を少なくして、画像が割り当てられたグループに属する無人航空機11を割り当てる。
【0082】
空間ディスプレイ装置10は、複数の無人航空機11を複数のグループに分配し、空中に表示する画像が割り当てられたグループに属する無人航空機11の数が足りない場合は、他のグループに属する無人航空機11を割り当てることで、無人航空機11の運用を柔軟に行い、無人航空機11の運用を効率良く行うことができる。
更に、空間ディスプレイ装置10は、空中に表示する画像が割り当てられたグループに属する無人航空機11の数が足りない場合であって、他のグループに属する無人航空機11を割り当てることができない場合であっても、空中に表示する画像のドットマトリックス表示のドットの数を少なくすることで対応することができる。
【0083】
(空間ディスプレイ装置10の利用例1について)
次に
図8を参照して、空間ディスプレイ装置10の利用例1について説明する。
図8は空間ディスプレイ装置10の利用例1について説明するための図である。
空間ディスプレイ装置10の利用例1は、トランプの手品のカード当ての実況中継に用いる例である。
空間ディスプレイ装置10において、元画像データは手品の実況中継の映像である。
トランプの手品のカード当てとは、よく混ぜ合わされたトランプの中から1枚のカードを客に引かせて、そのカードのマークと数字を手品師に見せることなく客に覚えさせた後に、元のカードの束の中に戻す。手品師は、カードの束の中から客と同じカードを引くという手品である。
【0084】
手品師の手元付近を撮影するビデオカメラが用意される。客が引いたカード70をこのビデオカメラによって撮影する。客が引いたカード70の映像は、外部情報入力部10iによって受け付けられ、空間ディスプレイ装置10に入力される。
客が引いたカード70が、例えば「ハートの7」である場合、空間ディスプレイ装置10は、元画像データとして「ハートマークと数字の7」の画像を記憶部10dに記憶する。
位置情報生成部40は、元画像データである「ハートマークと数字の7」の画像に基づいて、「ハートマークと数字の7」のドットマトリックス表示を構成するドットごとの無人航空機11の位置情報を生成する。
発光処理部42は、元画像データである「ハートマークと数字の7」の画像に基づいて、「ハートマークと数字の7」のドットマトリックス表示を構成するドットごとの発光パターン情報を生成する。
無人航空機割当部43は、「ハートマークと数字の7」のドットマトリックス表示を構成するドットごとに無人航空機11を割り当てる。
送信部47は、飛行中のドットごとに割り当てられた無人航空機11の各々に対して、ドットに対応する位置情報及び発光パターン情報を送信する。
無人航空機11は、取得部26aによって、送信部47から送信された位置情報及び発光パターン情報を飛行中に受信することで、直ちに「ハートマークと数字の7」のドットマトリックス表示を空中13に表示することができる。
【0085】
空間ディスプレイ装置10は、先ず
図8(a)に示す様に、空中13に客が引いたカード70である「ハートマークの7」を表示する。次に、空間ディスプレイ装置10は、手品師が引いたカード71の映像を外部情報入力部10iによって受け入れて、客が引いたカード70と同様に、
図8(b)に示す様に、空中13に手品師が引いたカード71である「ハートマークの7」を表示する。
空間ディスプレイ装置10は、空中13に客が引いたカード70と手品師が引いたカード71とを並べて表示することで、手品師が手品に成功したことを空中13に示すことができる。
図8に示したように、空中13に客が引いたカード70と手品師が引いたカード71とを並べて表示することで、手品に参加している客のみならず、空中13を眺める多くの観客に手品に参加しているような臨場感を与えることができる。
【0086】
(空間ディスプレイ装置10の利用例2について)
次に
図9を参照して、空間ディスプレイ装置10の利用例2について説明する。
図9は空間ディスプレイ装置10の利用例2について説明するための図である。
空間ディスプレイ装置10の利用例2は、利用例1と同様にトランプの手品のカード当ての実況中継に用いる例である。
利用例2における空間ディスプレイ装置10は、予め空中13に4か所のドットマトリックス表示の縦8個の点、横8個の点の2次元配列状に複数(256台)の無人航空機11を配置する。そして、外部情報入力部10iが受け入れて、空間ディスプレイ装置10に入力される元画像データに基づいて、256台の無人航空機11の発光部21のそれぞれの発光パターン情報を生成し、送信部47よりドットごとに対応する発光パターン情報を当該ドットに割り当てられた無人航空機11に送信する。無人航空機11は、取得部26aによって受信した発光パターン情報に基づいて発光部21を発光させる。
空間ディスプレイ装置10は、外部情報入力部10iによって受け入れた元画像データに基づいて直ちに発光パターン情報を生成し、送信部47により無人航空機11に送信することができる。そして、無人航空機11は取得部26aによって受信した発光パターン情報によって直ちに発光部21を発光することができる。
空間ディスプレイ装置10は、元画像データの変化により空中の無人航空機11の位置を変更する必要がないので、元画像データの変化に対してリアルタイムに反応して空中の画像を変化させることができる。
【0087】
先ず、
図9(a)に示す様に、位置情報生成部40は、4か所のドットマトリックス表示の縦8個の点、横8個の点の2次元配列を構成するドットごとの無人航空機11の位置情報を生成する。必要な無人航空機11の機数は256台となる。
図9において、白丸は無人航空機11の発光部21の消灯状態を示し、黒丸は無人航空機11の発光部21の発光状態を示す。
無人航空機割当部43は、4か所のドットマトリックス表示の2次元配列を構成するドットごとに無人航空機11を割り当てる。
外部情報入力部10iは、客が引いたカード70の映像を受け入れて、当該映像は空間ディスプレイ装置10に入力される。
空間ディスプレイ装置10は、客が引いたカード70が、例えば「ハートの7」である場合、元画像データとして「ハートマークと数字の7」の画像を記憶部10dに記憶する。
発光処理部42は、元画像データである「ハートマークと数字の7」の画像に基づいて、「ハートマークと数字の7」のドットマトリックス表示を構成するドットごとの発光パターン情報を生成する。
送信部47は、飛行中のドットごとに割り当てられた無人航空機11の各々に対して、ドットに対応する位置情報及び発光パターン情報を送信する。
無人航空機11は、取得部26aによって、送信部47から送信された位置情報及び発光パターン情報を飛行中に受信する。受信した位置情報に変更はないので、無人航空機11は、空中13の位置を変更することなく、発光パターン情報に従って発光部21を発光させるので、直ちに「ハートマークと数字の7」のドットマトリックス表示を空中13に表示することができる(
図9(b)参照)。
次に、空間ディスプレイ装置10は、手品師が引いたカード71の映像を外部情報入力部10iによって受け入れて、客が引いたカード70と同様に、
図9(c)に示す様に、空中13に手品師が引いたカード71である「ハートマークの7」を表示する。
空間ディスプレイ装置10は、空中13に客が引いたカード70と手品師が引いたカード71とを並べて表示することで、手品師が手品に成功したことを空中13に示すことができる。
図9に示したように、空中13に4個のドットマトリックス表示の2次元配列を空中13に用意することで、無人航空機11の位置を変更させる必要がないので、外部情報入力部10iによって受け付けられた元画像データの変化に迅速に応答して、空中13の画像を変化させることができる。
【0088】
(空間ディスプレイ装置10の利用例3について)
図10を参照して、空間ディスプレイ装置10の利用例3として、空中に表示する画像を滑らかに見せる場合の一例について説明する。
図10は、空間ディスプレイ装置10の利用例3について説明するための図であり、
図10(a)は漢字「大」の階調フォントについて説明するための図であり、
図10(b)は漢字「大」をドットマトリックス表示する場合に発光状態となるドットについて説明するための図である。
階調フォントとは、アンチエイジング(anti-aliasing)を施したフォントのことをいい、文字をドットマトリックス表示する場合に文字の斜線部及び曲線部の境界がギザギザ(ジャギー:Jaggy)にならないよう、中間色を入れることで滑らかに見せるフォントのことをいう。
空間ディスプレイ装置10は、文字のみならず、その他の画像を空中に表示する際に、画像に対してアンチエイジング処理を施すことで画像を滑らかに表示することができる。
エイリアスとは画像の斜めの部分及び曲線の部分がギザギザに見える現象のことをいい、アンチエイリアシングとはこのギザギザを目立たなくすることをいう。
中間色とは、空中に表示する画像の色と当該画像の背景の色との中間色のことである。中間色は4階調、8階調、16階調などがある。空間ディスプレイ装置10が表示する画像の一つのドットの大きさ及び輝度によって、4階調、8階調、16階調などが決定される。画像の1ドットが比較的大きく輝度が高い場合は中間階調のレベルは多くを必要としないため4階調、8階調などの低階調を用いることが好ましく、画像の画素が細かく1ドットが小さく輝度が低い場合は中間階調レベルを多数用いるため16階調、32階調など多階調を用いることが好ましい。
【0089】
利用例3の空間ディスプレイ装置10の発光処理部42は、空中に表示する画像に含まれる斜線部及び曲線部に配置され当該画像の背景との境界を構成するドットの発光パターン情報に含まれる発光色を、背景の色と空中に表示する画像の色との中間色とする。
図10(a)を参照して、漢字「大」を例に挙げて階調フォントについて説明する。
図10(a)に示す様に、縦16ドット横16ドットの白地の背景に表示される黒字の漢字「大」は、内部を構成するドットが黒のドット80となり、輪郭を構成するドットは濃いグレーのドット81又は薄いグレーのドット82となる。
漢字「大」の輪郭を構成するドットのうち、黒のドットとより多く接しているドットは濃いグレーのドット81となり、どの他のドットは薄いグレーのドット82となる。
【0090】
階調フォントを用いて漢字「大」を空中に表示する場合、
図10(b)に示す様に、無人航空機11は85機必要となる。
図10(a)に示す黒いドット80は、
図10(b)の明るいドット84に対応し、明るいドット84に割り当てられる無人航空機11は39機であり最も多い発光量で発光する。
図10(a)に示す濃いグレーのドット81は、
図10(b)の少し暗いドット85に対応し、少し暗いドット85に割り当てられる無人航空機11は11機であり最も中程度の発光量で発光する。
図10(a)に示す薄いグレーのドット82は、
図10(b)の暗いドット86に対応し、暗いドット86に割り当てられる無人航空機11は35機であり小程度の発光量で発光する。
【0091】
(空間ディスプレイ方法及び空間ディスプレイプログラムについて)
次に
図11を参照して、本発明の一実施形態に係る空間ディスプレイプログラムについて、空間ディスプレイ方法とともに説明する。
図11は本実施形態に係る空間ディスプレイプログラムのフローチャートの一例である。空間ディスプレイ方法は、空間ディスプレイプログラムに基づいて、空間ディスプレイ装置10の処理部10eにより実行される。
空間ディスプレイプログラムは、学習モデル取得ステップS37、画像データ取得ステップS38、ドット数算出ステップS39、位置情報生成ステップS40、飛行制御ステップS41、発光処理ステップS42、無人航空機割当ステップS43、異常情報受付ステップS44、光量不足情報受付ステップS45、画像割当ステップS46、送信ステップS47、及び機数充足判定ステップS48などを備える。
空間ディスプレイプログラムは、空間ディスプレイ装置10の処理部10eに対して、学習モデル取得機能、画像データ取得機能、ドット数算出機能、位置情報生成機能、飛行制御機能、発光処理機能、無人航空機割当機能、異常情報受付機能、光量不足情報受付機能、画像割当機能、送信機能、及び機数充足判定機能などを実現させる。これらの機能は
図11のフローチャートに示される順に実行されるが、適宜、順番を入れ替えて実行することもできる。なお、各機能は前述の空間ディスプレイ装置10の各種機能部の説明と重複するため、その詳細な説明は省略する。
【0092】
学習モデル取得機能は、画像に関する画像データと元画像データとの対応関係を予め学習した学習モデルを取得する(S37:学習モデル取得ステップ)。
画像データ取得機能は、画像に関する画像データを取得する(S38:画像データ取得ステップ)。
ドット数算出機能は、画像データに基づいて、画像をドットマトリックス表示する場合に発光状態となるドットの数を算出する(S39:ドット数算出ステップ)。
位置情報生成機能は、画像データに基づいて、発光状態となるドットの数の各々のドットごとの位置情報を生成する(S40:位置情報生成ステップ)。
飛行制御機能は、画像データに含まれる画像の動画部分に関する動画データに基づいて、動画部分を構成するドットごとの飛行ルート、飛行タイミング、及び飛行速度を規定する飛行パターン情報を生成する(S41:飛行制御ステップ)。
発光処理機能は、画像データに含まれる画像の色彩に関する色彩データに基づいて、ドットごとの発光態様を規定する発光パターン情報を生成する(S42:発光処理ステップ)。
無人航空機割当機能は、ドットごとに無人航空機11を割り当てる(S43:無人航空機割当ステップ)。
異常情報受付機能は、無人航空機11の異常情報を受付ける(S44:異常情報受付ステップ)。
光量不足情報受付機能は、無人航空機11の光量不足情報を受付ける(S45:光量不足情報受付ステップ)。
画像割当機能は、画像を、複数のグループの何れかに割り当てる(S46:画像割当ステップ)。
送信機能は、ドットごとに割り当てられた無人航空機11の各々に対して、ドットに対応する位置情報及び発光パターン情報を送信する(S47:送信ステップ)。
機数充足判定機能は、画像が割り当てられたグループに含まれる無人航空機11の数が、ドット数算出機能が算出したドットの数を充足するか否かを判定する(S48:機数充足判定ステップ)。
【0093】
上記した実施形態の空間ディスプレイ装置10によれば、ドット数算出部39は、空中に表示する画像をドットマトリックス表示する際に点灯状態にならないドットは数に含めない。従って、空中に表示する画像をドットマトリックス表示する際に点灯状態にならないドットには無人航空機11は割り当てられないので、画像の表示に寄与しない無人航空機11を使用しないため無人航空機11を効率よく運用することができる。
【0094】
また、上記した実施形態の空間ディスプレイ装置10は、複数の無人航空機11を複数のグループに分配し、空中に表示する画像が割り当てられたグループに属する無人航空機11の数が足りない場合は、他のグループに属する無人航空機11を割り当てることで、無人航空機11の運用を柔軟に行い、無人航空機11の運用を効率良く行うことができる。
【0095】
また、上記した実施形態の空間ディスプレイ装置10は、空中に表示する画像が割り当てられたグループに属する無人航空機11の数が足りない場合であって、他のグループに属する無人航空機11を割り当てることができない場合であっても、空中に表示する画像のドットマトリックス表示のドットの数を少なくすることで対応することができる。
【0096】
また、上記した実施形態の空間ディスプレイ装置10によれば、飛行中の無人航空機11に対して、位置情報、発光パターン情報、及び飛行パターン情報を送信し、無人航空機11は飛行中に空間ディスプレイ装置10から送信されてきた位置情報、発光パターン情報、及び飛行パターン情報を受信することができるので、無人航空機11は飛行中であっても、予め決められた画像とは異なる画像を空中に容易に表示させることができる。
【0097】
また、上記した実施形態の空間ディスプレイ装置10によれば、無人航空機11は照度センサ32を搭載し発光輝度補正部26fを備えるので、無人航空機11は外部の照度に合わせて発光部21の発光輝度を調整することができるため、輝度不足となり空中13の画像が見にくくなり、或いは、過剰な発光輝度で発光部21を発光させることがないので、バッテリ27を必要以上に消費することがない。
【0098】
また、上記した実施形態の空間ディスプレイ装置10によれば、光量不足となっていたドットに対して、2機の無人航空機11が割り当てられて発光するので、空中に表示する画像の背景の輝度に対して、十分な光量を与えることが可能となる。
【0099】
また、上記した実施形態の空間ディスプレイ装置10によれば、空中13に立体画像を表示させることができる。
【0100】
また、上記した実施形態の空間ディスプレイ装置10によれば、複数の無人航空機11によって打ち上げ花火を空中13に表示することで、実際の打ち上げ花火のような二酸化炭素の排出を抑制することができるため、カーボンニュートラルの概念を実践することができる。
【0101】
また、上記した実施形態の空間ディスプレイ装置10によれば、外部情報入力部10iから医療現場で取得する画像を入力し、当該画像を空中13に表示することができるので、多くの人に医療現場で取得した画像を見せることができる。
【0102】
また、上記した実施形態の空間ディスプレイ装置10によれば、超高速カメラで撮影した画像を、空中13に表示することができるので、高速現象の一瞬を切り取った画像を空中に映し出すことができ、多くの人に感動を与えることができる。
【0103】
また、上記した実施形態の空間ディスプレイ装置10によれば、定点観測カメラが撮影する現時点の様子を示すリアルタイム映像を、空中13に表示することができるので、多くの人にリアルタイム映像を見せることができる。
【0104】
なお、本発明は上記した実施形態に係る空間ディスプレイ装置10、空間ディスプレイ方法、及び空間ディスプレイプログラムに限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。また、上記した実施形態では、「データ」の文言を使用しているが、「データ」の文言は「情報」と言い換えることができ、「情報」の文言は「データ」と言い換えることができる。
【符号の説明】
【0105】
10 空間ディスプレイ装置
10a 通信部
10b ROM
10c RAM
10d 記憶部
10e 処理部
10f 入出力インターフェース
10g 表示部
10h 操作入力部
10i 外部情報入力部
11 無人航空機(ドローン)
11a 無人航空機(ドローン)
11b 無人航空機(ドローン)
11c 無人航空機(ドローン)
11d 無人航空機(ドローン)
11e 無人航空機(ドローン)
12 無線アンテナ
13 空中
14 マーク
15 文字
16 QRコード
17 情報通信ネットワーク
18 本体部
19 アーム
19a 第1アーム
19b 第2アーム
19c 第3アーム
19d 第4アーム
20 プロペラ
20a 第1プロペラ
20b 第2プロペラ
20c 第3プロペラ
20d 第4プロペラ
21 発光部
22 通信部
23 ROM
24 RAM
25 記憶部
26 制御部
26a 取得部
26b 異常検知部
26c 異常通知部
26d 光量不足検知部
26e 光量不足通知部
26f 発光輝度補正部
27 バッテリ
28 入出力インターフェース
29 飛行駆動部(モータ)
30 飛行駆動機構(ロータ)
31 GPS受信機
32 照度センサ
33 地磁気センサ
34 高度センサ
35 ジャイロセンサ
36 障害物検知カメラ
37 学習モデル取得部
38 画像データ取得部
39 ドット数算出部
40 位置情報生成部
41 飛行制御部
42 発光処理部
43 無人航空機割当部
44 異常情報受付部
45 光量不足情報受付部
46 画像割当部
47 送信部
48 機数充足判定部
49 「R」
50 「R」
51 ドット(点)
52 ドット(点)
53 ドット(点)
54 ドット(点)
55 ドット(点)
56 ドット(点)
60 第1レイヤー
61 第2レイヤー
62 第3レイヤー
63 第4レイヤー
64 第5レイヤー
65 第6レイヤー
66 第7レイヤー
69 表示の無い状態
70 客が引いたカード
71 手品師が引いたカード
80 黒のドット(点)
81 濃いグレーのドット(点)
82 薄いグレーのドット(点)
83 無し
84 明るいドット(点)
85 少し暗いドット(点)
86 暗いドット(点)
【要約】
【課題】 複数の無人航空機を効率良く運用することができる空間ディスプレイ装置などを提供する。
【解決手段】 空間ディスプレイ装置は、空中に表示する画像に関する画像データに基づいて、画像をドットマトリックス表示する場合に発光状態となるドットの数を算出し、ドットごとの位置情報を生成し、色彩データに基づいてドットごとの発光パターン情報を生成し、ドットごとに無人航空機を割り当て、画像を、複数のグループの何れかに割り当て、無人航空機の各々に対して位置情報及び発光パターン情報を送信し、無人航空機の数がドットの数を充足すると判定した場合は、ドットごとに画像が割り当てられたグループに属する無人航空機を割り当て、無人航空機の数がドットの数を充足しないと判定した場合は、ドットごとに画像が割り当てられたグループの無人航空機を割り当てるとともに、他のグループの無人航空機を割り当てる。
【選択図】
図5