特開 2024-170038 携帯端末、プログラム、方法、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024170038

(43)【公開日】2024-12-06

(54)【発明の名称】携帯端末、プログラム、方法、およびシステム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241129BHJP

【ＦＩ】

G06T1/00 340Z

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023086964

(22)【出願日】2023-05-26

(71)【出願人】

【識別番号】513190830

【氏名又は名称】Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社

(71)【出願人】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】藤野 真人

(72)【発明者】

【氏名】竹崎 雄一郎

(72)【発明者】

【氏名】久池井 淳

(72)【発明者】

【氏名】村西 秀一

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA02

5B057CA12

5B057CA16

5B057CD08

5B057CE17

(57)【要約】

【課題】携帯端末が撮影した画像の取り扱いを向上させる。
【解決手段】本開示の一実施形態に係る携帯端末は、撮影機能が搭載された携帯端末であって、前記携帯端末の制御部は、撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影機能が搭載された携帯端末であって、
前記携帯端末の制御部は、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する
携帯端末。

【請求項2】

前記制御部は、
前記携帯端末の向きに基づき、画像内でマスク処理を実施する領域を特定する、請求項１に記載の携帯端末。

【請求項3】

前記携帯端末の向きは、
前記携帯端末の加速度センサの情報に基づき特定される、請求項２に記載の携帯端末。

【請求項4】

前記制御部は、
画像内に写り込んだ撮影者の身体の部位、および、前記身体の部位が写り込んだ前記画像内の領域に基づき、画像内でマスク処理を実施する領域を特定する、請求項１に記載の携帯端末。

【請求項5】

前記マスク処理は、前記領域を単色で塗りつぶす処理である、請求項１に記載の携帯端末。

【請求項6】

前記携帯端末は、マスク処理を実施した画像をサーバに送信する、請求項１に記載の携帯端末。

【請求項7】

前記携帯端末は、首掛け式ウェアラブル端末である、請求項１に記載の携帯端末。

【請求項8】

撮影機能が搭載された携帯端末に、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する手順
を実行させるためのプログラム。

【請求項9】

撮影機能が搭載された携帯端末が実行する方法であって、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成するステップ
を含む方法。

【請求項10】

携帯端末とサーバを含むシステムであって、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、携帯端末、プログラム、方法、およびシステムに関する。

【背景技術】

【0002】

従来、携帯端末が撮影した画像を用いて当該携帯端末が撮影した空間を表す３Ｄモデルを生成することが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－３６８１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮影者が携帯端末で画像を撮影するときに、携帯端末が撮影した画像内に撮影者が写り込んでしまうことがある。このような場合、携帯端末が撮影した画像を用いて当該携帯端末が撮影した空間を表す３Ｄモデルを生成する際、必要のない領域（つまり、撮影者が写り込んだ領域）までモデリングの処理をしなければならない。

【0005】

本開示では、携帯端末が撮影した画像の取り扱いを向上させることを目的とする。

【課題を解決するための手段】

【0006】

本開示の第１の態様による携帯端末は、
撮影機能が搭載された携帯端末であって、
前記携帯端末の制御部は、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する。

【0007】

本開示の第２の態様は、第１の態様に記載の携帯端末であって、
前記制御部は、
前記携帯端末の向きに基づき、画像内でマスク処理を実施する領域を特定する。

【0008】

本開示の第３の態様は、第２の態様に記載の携帯端末であって、
前記携帯端末の向きは、
前記携帯端末の加速度センサの情報に基づき特定される。

【0009】

本開示の第４の態様は、第１から３のいずれかの態様に記載の携帯端末であって、
前記制御部は、
画像内に写り込んだ撮影者の身体の部位、および、前記身体の部位が写り込んだ前記画像内の領域に基づき、画像内でマスク処理を実施する領域を特定する。

【0010】

本開示の第５の態様は、第１から４のいずれかの態様に記載の携帯端末であって、
前記マスク処理は、前記領域を単色で塗りつぶす処理である。

【0011】

本開示の第６の態様は、第１から５のいずれかの態様に記載の携帯端末であって、
前記携帯端末は、マスク処理を実施した画像をサーバに送信する。

【0012】

本開示の第７の態様は、第１から６のいずれかの態様に記載の携帯端末であって、
前記携帯端末は、首掛け式ウェアラブル端末である。

【0013】

本開示の第８の態様によるプログラムは、
撮影機能が搭載された携帯端末に、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する手順
を実行させる。

【0014】

本開示の第９の態様による方法は、
撮影機能が搭載された携帯端末が実行する方法であって、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成するステップ
を含む。

【0015】

本開示の第１０の態様によるシステムは、
携帯端末とサーバを含むシステムであって、
撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する。

【図面の簡単な説明】

【0016】

【図1】本開示の一実施形態に係る全体の構成を示す図である。

【図2】本開示の一実施形態に係るウェアラブル端末の一例である。

【図3】本開示の一実施形態に係るウェアラブル端末のハードウェア構成を示す図である。

【図4】本開示の一実施形態に係るサーバのハードウェア構成を示す図である。

【図5】本開示の一実施形態に係るウェアラブル端末の制御部の機能ブロック図である。

【図6】本開示の一実施形態に係るウェアラブル端末が所定の向きであるときに装着者が撮影されている領域を特定する方法について説明するための図である。

【図7】本開示の一実施形態に係るマスク処理のフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面に基づいて本開示の実施の形態を説明する。

【0018】

＜全体の構成＞
図１は、本開示の一実施形態に係る全体の構成を示す図である。画像管理システム１は、撮影者が携帯する携帯端末（例えば、装着者１１が装着するウェアラブル端末１０）と、サーバ２０と、を含む。以下、それぞれについて説明する。

【0019】

＜＜ウェアラブル端末＞＞
ウェアラブル端末１０は、携帯端末の一例である。本明細書では、携帯端末がウェアラブル端末（例えば、首掛け式ウェアラブル端末）である場合を説明するが、本発明は、スマートフォン等の撮影機能が搭載された任意の携帯端末に適用することができる。

【0020】

ウェアラブル端末１０は、装着者１１（撮影者の一例である）が使用する、撮影機能が搭載された端末である。例えば、ウェアラブル端末１０は、首掛け式の端末である。ウェアラブル端末１０は、任意のネットワークを介して、サーバ２０とデータを送受信することができる。

【0021】

具体的には、携帯端末（例えば、ウェアラブル端末１０）は、撮影した画像内で、少なくとも撮影者（例えば、装着者１１）の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する。

【0022】

例えば、ウェアラブル端末１０は、ウェアラブル端末１０が撮影した画像内で、ウェアラブル端末１０の装着者１１が撮影されている領域を特定し、当該領域をマスク処理し（例えば、当該領域を塗りつぶす）、マスク処理された領域を含むウェアラブル端末１０が撮影した画像をサーバ２０へ送信する。

【0023】

例えば、ウェアラブル端末１０の装着者１１が撮影されている領域は、ウェアラブル端末の向きから特定される。つまり、ウェアラブル端末１０の向きに基づき、画像内でマスク処理を実施する領域を特定することができる。なお、ウェアラブル端末１０の向きは、ウェアラブル端末１０の加速度センサの情報に基づき特定されてもよい。

【0024】

＜＜サーバ＞＞
サーバ２０は、ウェアラブル端末１０から画像を受信して、当該画像を利用する。例えば、サーバ２０は、ウェアラブル端末１０から受信した画像を用いて、ウェアラブル端末１０が撮影した空間を表す３Ｄモデルを生成する。サーバ２０は、１つまたは複数のコンピュータから構成される。サーバ２０は、任意のネットワークを介して、ウェアラブル端末１０とデータを送受信することができる。

【0025】

なお、本明細書で説明されるウェアラブル端末１０の処理の少なくとも一部をサーバ２０が実行するようにしてもよいし、本明細書で説明されるサーバ２０の処理の少なくとも一部をウェアラブル端末１０が実行するようにしてもよい。

【0026】

＜ウェアラブル端末の構成＞
図２は、本開示の一実施形態に係るウェアラブル端末１０の一例である。例えば、ウェアラブル端末１０は、図２のような首掛け型の形状をした端末である。例えば、ウェアラブル端末１０は、図２のように、撮像部（カメラ）１０７を備える。さらに、ウェアラブル端末１０は、図２のように、音入力部（マイク）１０５と、音出力部（スピーカー）１０６と、操作部１０４と、を備えてもよい。各部については、図３を参照しながら詳細に説明する。

【0027】

＜ハードウェア構成＞
以下、図３を参照しながら、ウェアラブル端末１０のハードウェア構成の一例を説明し、図４を参照しながら、サーバ２０のハードウェア構成の一例を説明する。

【0028】

図３は、本開示の一実施形態に係るウェアラブル端末１０のハードウェア構成を示す図である。ウェアラブル端末１０は、制御部（プロセッサ）１０１と、記憶部（メモリ）１０２と、通信部１０３と、操作部１０４、音入力部（マイク）１０５と、音出力部（スピーカー）１０６と、撮像部（カメラ）１０７と、各種センサ１０８と、を備えることができる。以下、それぞれについて説明する。

【0029】

制御部（プロセッサ）１０１は、ウェアラブル端末１０を制御するプロセッサである。例えば、制御部（プロセッサ）１０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Uni）等である。

【0030】

記憶部（メモリ）１０２は、任意のデータを記憶するメモリである。

【0031】

通信部１０３は、任意のネットワークに接続して、他のコンピュータ（サーバ２０等）と通信する。

【0032】

操作部１０４は、装着者１１がウェアラブル端末１０に対する指示を入力するためのボタン等である。

【0033】

音入力部（マイク）１０５は、音を集音する。

【0034】

音出力部（スピーカー）１０６は、音を出力する。

【0035】

撮像部（カメラ）１０７は、静止画および動画を撮像する。

【0036】

各種センサ１０８は、加速度センサ、ＧＰＳ（Global Positioning System）等の１つまたは複数の任意のセンサである。

【0037】

図４は、本開示の一実施形態に係るサーバ２０のハードウェア構成を示す図である。サーバ２０は、制御部（プロセッサ）２０１と、記憶部（メモリ）２０２と、通信部２０３と、を備えることができる。以下、それぞれについて説明する。

【0038】

制御部（プロセッサ）２０１は、サーバ２０を制御するプロセッサである。例えば、制御部（プロセッサ）２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Uni）等である。

【0039】

記憶部（メモリ）２０２は、任意のデータを記憶するメモリである。

【0040】

通信部２０３は、任意のネットワークに接続して、他のコンピュータ（ウェアラブル端末１０等）と通信する。

【0041】

図５は、本開示の一実施形態に係るウェアラブル端末１０の制御部１０１の機能ブロック図である。ウェアラブル端末１０の制御部１０１は、領域特定部１１１と、マスキング部１１２と、画像送信部１１３と、を備える。ウェアラブル端末１０の制御部１０１は、プログラムを実行することによって、領域特定部１１１、マスキング部１１２、画像送信部１１３、として機能する。

【0042】

領域特定部１１１は、ウェアラブル端末１０（撮像部１０７）が撮影した画像内で、ウェアラブル端末１０の装着者１１が撮影されている領域を特定する。

【0043】

例えば、領域特定部１１１は、画像内に写り込んだ撮影者の身体の部位（例えば、足等）、および、当該身体の部位が写り込んだ画像内の領域に基づき、画像内でマスク処理を実施する領域を特定する。なお、領域特定部１１１は、画像内の身体の部位を検出する既存の技術を用いて、画像内に写り込んだ撮影者の身体の部位（例えば、足等）を特定することができる。

【0044】

マスキング部１１２は、領域特定部１１１が特定した領域をマスク処理（例えば、領域を単色で塗りつぶす）する。

【0045】

［マスク処理］
ここで、マスク処理について説明する。マスキング部１１２は、領域特定部１１１が特定した領域を塗りつぶすことができる。具体的には、マスキング部１１２は、領域特定部１１１が特定した領域内の全画素を同一の色（例えば、黒色）にする（例えば、全画素のＲＧＢの値を０：０：０にする）。

【0046】

画像送信部１１３は、マスキング部１１２によってマスク処理された領域を含むウェアラブル端末１０（撮像部１０７）が撮影した画像を通信部２０３へ送信する。

【0047】

＜装着者が撮影されている領域の特定＞
以下、図６を参照しながら、装着者１１が撮影されている領域の特定について説明する。

【0048】

具体的には、図６を参照しながら、ウェアラブル端末１０が所定の向きであるときに装着者１１が撮影されている領域を特定する方法について説明する。

【0049】

［ウェアラブル端末の向き］
図６は、本開示の一実施形態に係るウェアラブル端末１０が所定の向きであるときに装着者１１が撮影されている領域を特定する方法について説明するための図である。

【0050】

具体的には、ウェアラブル端末１０は、ウェアラブル端末１０が所定の向きであるとき（例えば、図６では、撮像部（カメラ）１０７が撮影する方向が、地面に対して垂直であり地面へ向かう方向であるとき）に、画像内の装着者１１の領域を特定して当該領域をマスク処理する。以下、詳細に説明する。

【0051】

まず、ウェアラブル端末１０の現在の向きの特定について説明する。領域特定部１１１は、ウェアラブル端末１０の現在の向きを特定する。例えば、領域特定部１１１は、ウェアラブル端末１０の加速度センサの機能を用いて、ウェアラブル端末１０の現在の向きを特定することができる。なお、領域特定部１１１は、ウェアラブル端末１０の加速度センサの機能以外の手法を用いて、ウェアラブル端末１０の現在の向きを特定してもよい。

【0052】

次に、装着者の領域の検出について説明する。領域特定部１１１は、ウェアラブル端末１０の現在の向きが、所定の向きであるとき（例えば、図６では、撮像部（カメラ）１０７が撮影する方向が、地面に対して垂直であり地面へ向かう方向であるとき）に、ウェアラブル端末１０（撮像部１０７）が撮影した画像内で、装着者１１の身体（例えば、装着者１１の手、装着者１１の足等（なお、図６の例では、足））を検出する。領域特定部１１１は、任意の物体検出の手法を用いて、画像内の装着者１１の身体を検出することができる。なお、所定の向きは、装着者１１が指定して、ウェアラブル端末１０の記憶部１０２等の任意のメモリに記憶させておいてもよい（ウェアラブル端末１０は、メモリに記憶されている所定の向きを参照する）。

【0053】

なお、ウェアラブル端末１０の現在の向きは、Visual SLAM（Simultaneous Localization and Mapping）の手法を用いて特定されてもよい。

【0054】

＜処理方法＞
図７は、本開示の一実施形態に係るマスク処理のフローチャートである。

【0055】

ステップ１１（Ｓ１１）において、ウェアラブル端末１０（撮像部１０７）は、撮影する。

【0056】

ステップ１２（Ｓ１２）において、ウェアラブル端末１０（制御部１０１）は、Ｓ１１で撮影した画像内で、ウェアラブル端末１０の装着者１１が撮影されている領域を特定する。

【0057】

ステップ１３（Ｓ１３）において、ウェアラブル端末１０（制御部１０１）は、Ｓ１２で特定した領域をマスク処理する。

【0058】

ステップ１４（Ｓ１４）において、ウェアラブル端末１０（制御部１０１）は、Ｓ１３でマスク処理された領域を含むウェアラブル端末１０（撮像部１０７）が撮影した画像をサーバ２０へ送信する。

【0059】

このように、ウェアラブル端末１０の装着者１１が当該ウェアラブル端末１０が撮影した画像内に写り込んでしまったとしても、当該画像内の当該装着者１１の領域をマスク処理したうえでサーバ２０へ送信することができる。

【0060】

そのため、例えば、サーバ２０は、ウェアラブル端末１０から受信した画像を用いてウェアラブル端末１０が撮影した空間を表す３Ｄモデルを生成する場合、マスク処理された領域のモデリングの処理が不要となる。また、ウェアラブル端末１０が遠隔地にあるサーバ２０へ画像を送信する場合、画像のデータ量が減るため、ウェアラブル端末１０とサーバ２０の間でのデータの通信量を減らすことができる。

【0061】

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

【符号の説明】

【0062】

１ 画像管理システム
１０ ウェアラブル端末
１１ 装着者
２０ サーバ
１０１ 制御部（プロセッサ）
１０２ 記憶部（メモリ）
１０３ 通信部
１０４ 操作部
１０５ 音入力部（マイク）
１０６ 音出力部（スピーカー）
１０７ 撮像部（カメラ）
１０８ 各種センサ
１１１ 領域特定部
１１２ マスキング部
１１３ 画像送信部
２０１ 制御部（プロセッサ）
２０２ 記憶部（メモリ）
２０３ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-09-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮影機能が搭載された携帯端末であって、
前記携帯端末の制御部は、
前記携帯端末の現在の向きが所定の向きであるときに、撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する
携帯端末。

【請求項2】

前記制御部は、
前記携帯端末の向きに基づき、画像内でマスク処理を実施する領域を特定する、請求項１に記載の携帯端末。

【請求項3】

前記携帯端末の向きは、
前記携帯端末の加速度センサの情報に基づき特定される、請求項２に記載の携帯端末。

【請求項4】

前記制御部は、
画像内に写り込んだ撮影者の身体の部位、および、前記身体の部位が写り込んだ前記画像内の領域に基づき、画像内でマスク処理を実施する領域を特定する、請求項１に記載の携帯端末。

【請求項5】

前記マスク処理は、前記領域を単色で塗りつぶす処理である、請求項１に記載の携帯端末。

【請求項6】

前記携帯端末は、マスク処理を実施した画像をサーバに送信する、請求項１に記載の携帯端末。

【請求項7】

前記携帯端末は、首掛け式ウェアラブル端末である、請求項１に記載の携帯端末。

【請求項8】

撮影機能が搭載された携帯端末に、
前記携帯端末の現在の向きが所定の向きであるときに、撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する手順
を実行させるためのプログラム。

【請求項9】

撮影機能が搭載された携帯端末が実行する方法であって、
前記携帯端末の現在の向きが所定の向きであるときに、撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成するステップ
を含む方法。

【請求項10】

携帯端末とサーバを含むシステムであって、
前記携帯端末の現在の向きが所定の向きであるときに、撮影した画像内で、少なくとも撮影者の身体の一部が写り込んだ領域に対してマスク処理を実施した画像を生成する
システム。