特表 2024-500296 ドア画像分析ベースの人工知能秘書装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-09

(54)【発明の名称】ドア画像分析ベースの人工知能秘書装置及びシステム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20231226BHJP

【ＦＩ】

G06Q50/10

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023532712

(86)(22)【出願日】2021-09-15

(85)【翻訳文提出日】2023-05-26

(86)【国際出願番号】 KR2021012637

(87)【国際公開番号】W WO2022114479

(87)【国際公開日】2022-06-02

(31)【優先権主張番号】10-2020-0161023

(32)【優先日】2020-11-26

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523351047

【氏名又は名称】ウォン インターナショナル インコーポレイテッド

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(72)【発明者】

【氏名】ビョン、チョル－ウォン

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC11

(57)【要約】

【課題】本発明の一態様は、ドア映像分析ベースのＡＩ（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）秘書装置を開示している。前記装置は、ドアに取り付けられたカメラから撮影された映像を受信する映像受信部（前記映像はドアを出入りする人の映像を含む）と、前記受信した映像を保存する保存所と、人工知能（ＡＩ）モデルを利用して前記保存所に保存された映像を分析することにより、前記出入りする人の特性を推論し、前記推論された特性に対応する情報を案内するプロセッサとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ドア映像分析ベースのＡＩ（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）秘書装置において、
ドアに取り付けられたカメラから撮影された映像を受信する映像受信部であって、前記映像はドアを出入りする人の映像を含む映像受信部、
前記受信した映像を保存する保存所、及び、
人工知能（ＡＩ）モデルを利用して前記保存所に保存された映像を分析することにより、前記出入りする人の特性を推論し、前記推論された特性に対応する情報を案内するプロセッサ、を含む、
ドア映像分析ベースのＡＩ秘書装置。

【請求項2】

前記プロセッサは、身体状態、体型及び身体サイズのうち少なくとも１つを推論する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項3】

前記プロセッサは、前記推論された特性に対応する商品を推薦する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項4】

前記プロセッサは、身体の健康状態を推論し、
身体ダイエットモデルを利用して前記推論された身体健康状態に対応するダイエット献立または商品を推薦する、請求項３に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項5】

前記プロセッサは、体型または身体サイズを推論し、
前記推論された体型または身体サイズに基づいてそれに対応する衣類または商品を推薦する、請求項３に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項6】

前記対応する情報を視覚化して表示するディスプレイ装置、及び、
前記対応する情報を音声で出力するスピーカをさらに含む、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項7】

前記ディスプレイ装置はタッチスクリーンであり、
前記タッチスクリーンを介してメモされた情報を前記出入りする人に表示する、請求項６に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項8】

前記プロセッサは、前記映像内のオブジェクトを分析して前記映像内の人を識別し、
前記プロセッサは、前記メモ情報に関連する人を識別し、
前記識別されたメモ情報に対応する出入者が前記ドアを出入りする時、前記出入者に対応するメモ情報を表示する、請求項７に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項9】

人が動くことを感知するモーションセンサをさらに含み、
前記プロセッサは、前記モーションセンサにより動きが感知される時、前記対応する情報を案内する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項10】

前記プロセッサは、前記動きが感知される時、前記の動きを引き起こす出入者を識別して前記識別された出入者の特性を推論することにより、それに対応する情報を案内する、請求項９に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項11】

前記ＡＩ秘書装置は、ユーザ端末において実行されるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）に関連するサーバ装置と通信し、
前記ＡＩ秘書装置は、前記ユーザ端末において前記アプリケーションが実行される時、前記対応する情報を前記ユーザ端末に提供する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項12】

前記サーバ装置はクラウド（ｃｌｏｕｄ）ベースのネットワーク、ホームネットワークまたはＤ２Ｄ（Ｄｅｖｉｃｅ ｔｏ Ｄｅｖｉｃｅ）方式で通信し、
前記サーバ装置に前記保存所に保存された情報が伝達される、請求項１２に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項13】

前記プロセッサは、第１出入者と第２出入者をそれぞれ識別して、
前記第１出入者にはそれに対応する第１情報を案内し、
前記第２出入者にはそれに対応する第２情報を案内し、
前記第１出入者と前記第２出入者は、前記ドアをしきい値以上出入りした出入者であるか否かを判断することにより識別される、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項14】

前記プロセッサは、前記保存された映像を分析して前記出入りする人の観相情報及び運勢情報を推論し、
前記観相情報及び運勢情報は東洋学ソリューションを利用して推論される、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項15】

前記プロセッサは、前記ディスプレイ装置において表示される広告コンテンツを前記ディスプレイ装置に提供し、
前記ディスプレイ装置は、前記プロセッサから受信された広告コンテンツを表示する、請求項６に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項16】

前記ディスプレイ装置及び前記スピーカの少なくとも１つはキオスク形態で備えられる、請求項６に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項17】

前記出入りする人の音声情報を取得するマイクをさらに含み、
前記プロセッサは、前記マイクを介して取得された音声情報を利用して前記出入りする人の特性を推論する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項18】

前記人工知能モデルは犯罪者身元情報、医療情報及び保険情報を管理するサーバと連動して前記犯罪者身元情報、医療情報及び保険情報を利用して前記出入りする人に関連した情報を案内する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項19】

前記出入りする人の口座に関連するオンラインバンキングサーバと連動し、
前記口座を利用してオンラインバンキング機能を提供する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項20】

前記プロセッサは、前記出入りする人に取り付けられて前記出入りする人の健康状態を測定するウェアラブルデバイスと連動し、
前記ウェアラブルデバイスから取得された情報を利用して前記出入りする人に関連した医療及び保険に関連した情報を案内する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項21】

前記ウェアラブルデバイスは平均血中酸素飽和度、平均心拍波動値のうち少なくとも１つの情報を取得して前記プロセッサに提供する、請求項２０に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項22】

前記プロセッサは、動的データにより前記保存された映像内のオブジェクトを分析し、
前記動的なデータは動画、光源及びグラフの少なくとも１つを含む、請求項２０に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項23】

前記プロセッサの分析対象データは、前記出入りする人の身体形状、サイズ、時間別の影、光源による身体の光反射、骨格、頭状、毛髪、手の形、指紋、手相、毛穴、血管、網膜、虹彩、顔面、体温、歩き方、音声及び音波のうち少なくとも１つを含む、請求項２０に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項24】

前記プロセッサは、前記出入りする人の特性をより正確に推論するために、ＳＮＳサーバ及びアプリケーションサーバにおいて前記出入りする人に関する情報、及び前記出入りする人が持っているデバイスのメモリに保存された情報のうち少なくとも１つを活用する、請求項１に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項25】

前記プロセッサは、前記出入りする人の手相情報を分析して前記出入りする人の運勢情報を推論する、請求項１４に記載のドア映像分析ベースのＡＩ秘書装置。

【請求項26】

ドア映像分析ベースのＡＩ（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）秘書システムにおいて、
ドアに取り付けられて出入りする人を撮影するカメラ、
人工知能モデルを利用して前記カメラにより撮影された映像を分析することにより、前記出入りする人の特性を推論し、前記推論された特性に対応する情報を出力装置に提供するＡＩ秘書装置、及び、
前記ＡＩ秘書装置から提供された情報を出力する出力装置を含む、
ドア映像分析ベースのＡＩ秘書システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）秘書装置に関し、より詳しくは、スマートホームを実現するためのＡＩ秘書装置に関する。

【背景技術】

【0002】

最近、大部分の家庭ではモノのインターネットベースのホームオートメーション装置を自宅に保有している。大部分のホームオートメーション装置はユーザの便宜のための動作を行い、そのために、ユーザの状態を点検する機能を有することができる。

【0003】

ただし、ユーザの状態を点検するためにユーザが別途時間をかけてアンケート調査をしたり、または映像を別途撮影するなどの独立的な行動を取らなければならないため、不便さが存在する。また、このような方式で取得された情報の量は多くなく、情報の種類も多様ではないため、正確な点検や、これによる情報の提供が適切でないという問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

前述の問題点を解決するための本発明の一態様による目的は、ドアカメラにより撮影された映像を分析してユーザに必要な情報を人工知能モデルに基づいて案内するＡＩ秘書装置を提供することである。

【課題を解決するための手段】

【0005】

前記目的を達成するための本発明の一態様による、ドア映像分析ベースのＡＩ（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）秘書装置は、ドアに取付られたカメラから撮影された映像を受信する映像受信部（前記映像はドアを出入りする人の映像を含む）と、前記受信した映像を保存する保存所と、人工知能（ＡＩ）モデルを利用して前記保存所に保存された映像を分析することにより、前記出入りする人の特性を推論し、前記推論された特性に対応する情報を案内するプロセッサとを含む。

【0006】

前記プロセッサは、身体状態、体型及び身体サイズのうち少なくとも１つを推論することができる。

【0007】

前記プロセッサは、前記推論された特性に対応する商品を推薦することができる。

【0008】

前記プロセッサは、身体の健康状態を推論し、身体ダイエットモデルを利用して前記推論された身体健康状態に対応するダイエット献立または商品を推薦することができる。

【0009】

前記プロセッサは、体型または身体サイズを推論し、前記推論された体型または身体サイズに基づいてそれに対応する衣類または商品を推薦することができる。

【0010】

前記装置は、前記対応する情報を視覚化して表示するディスプレイ装置及び前記対応する情報を音声で出力するスピーカをさらに含んでもよい。

【0011】

前記ディスプレイ装置はタッチスクリーンであり、前記タッチスクリーンを介してメモされた情報を前記出入りする人に表示することができる。

【0012】

前記プロセッサは前記映像内のオブジェクトを分析して前記映像内の人を識別し、前記プロセッサは前記メモ情報と関連した人を識別し、前記識別されたメモ情報に対応する出入者が前記ドアを出入りする時、前記出入者に対応するメモ情報を表示することができる。

【0013】

前記装置は、人の動くことを感知するモーションセンサをさらに含み、前記プロセッサは、前記モーションセンサを介して動きが感知される時、前記対応する情報を案内することができる。

【0014】

前記プロセッサは、前記動きが感知される時、前記動きを引き起こす出入者を識別して前記識別された出入者の特性を推論することにより、それに対応する情報を案内することができる。

【0015】

前記ＡＩ秘書装置は、ユーザ端末において実行されるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）に関連したサーバ装置と通信し、前記ＡＩ秘書装置は前記ユーザ端末において前記アプリケーションが実行される時、前記対応する情報を前記ユーザ端末に提供することができる。

【0016】

前記サーバ装置はクラウド（ｃｌｏｕｄ）ベースのネットワーク、ホームネットワークまたはＤ２Ｄ（Ｄｅｖｉｃｅ ｔｏ Ｄｅｖｉｃｅ）方式により通信でき、前記保存所にある情報が前記サーバ装置に伝達されることができる。

【0017】

前記プロセッサは、第１出入者と第２出入者をそれぞれ識別して、前記第１出入者にはそれに対応する第１情報を案内し、前記第２出入者にはそれに対応する第２情報を案内し、前記第１出入者と前記第２出入者は前記ドアをしきい値以上出入りした出入者であるか否かを判断することにより識別できる。

【0018】

前記プロセッサは、前記保存された映像を分析して前記出入りする人の観相情報及び運勢情報を推論し、前記観相情報及び運勢情報は東洋学ソリューションを利用して推論できる。

【0019】

前記プロセッサは、前記ディスプレイ装置で表示される広告コンテンツを前記ディスプレイ装置に提供し、前記ディスプレイ装置は前記プロセッサから受信された広告コンテンツを表示することができる。

【0020】

前記ディスプレイ装置及び前記スピーカの少なくとも１つはキオスク形態で備えられてもよい。

【0021】

前記装置は、前記出入りする人の音声情報を取得するマイクをさらに含み、前記プロセッサは前記マイクを介して取得された音声情報を利用して前記出入りする人の特性を推論することができる。

【0022】

前記人工知能モデルは、犯罪者身元情報、医療情報及び保険情報を管理するサーバと連動して前記犯罪者身元情報、医療情報及び保険情報を利用して前記出入りする人に関連した情報を案内することができる。

【0023】

前記出入りする人の口座と関連したオンラインバンキングサーバと連動し、前記口座を利用してオンラインバンキング機能を提供することができる。

【0024】

前記プロセッサは、前記出入りする人に取り付けられて前記出入りする人の健康状態を測定するウェアラブルデバイスと連動し、前記ウェアラブルデバイスから取得した情報を利用して前記出入りする人と関連した医療及び保険に関連した情報を案内することができる。

【0025】

前記ウェアラブルデバイスは平均血中酸素飽和度、平均心拍波動値のうち少なくとも１つの情報を取得して前記プロセッサに提供することができる。

【0026】

前記プロセッサは、動的データから前記保存された映像内のオブジェクトを分析し、前記動的データは動画、光源及びグラフの少なくとも１つを含んでもよい。

【0027】

前記プロセッサの分析対象データは、前記出入りする人の身体形状、サイズ、時間別の影、光源による身体の光反射、骨格、頭状、毛髪、手の形、指紋、手相、毛穴、血管、網膜、虹彩、顔面、体温、歩き方、音声及び音波のうち少なくとも１つを含んでもよい。

【0028】

前記プロセッサは、前記出入りする人の特性をより正確に推論するために、ＳＮＳサーバ及びアプリケーションサーバにおいて前記出入りする人に関する情報、及び前記出入りする人が持っているデバイスのメモリに保存された情報の少なくとも１つを活用できる。

【0029】

前記プロセッサは、前記出入りする人の手相情報を分析して前記出入りする人の運勢情報を推論することができる。

【0030】

前記目的を達成するための本発明の他の態様による、ドア映像分析ベースのＡＩ（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）秘書システムは、ドアに取り付けられて出入りする人を撮影するカメラと、人工知能モデルを利用して前記カメラから撮影された映像を分析することにより、前記出入りする人の特性を推論し、前記推論された特性に対応する情報を出力装置に提供するＡＩ秘書装置と、前記ＡＩ秘書装置から提供された情報を出力する出力装置を含む。

【発明の効果】

【0031】

本発明のドア映像ベースのＡＩ秘書装置によれば、別途の映像撮影またはユーザの状態情報入力の作業がなくても、毎日出入りするドアに取り付けられたカメラを介してユーザに関する情報を蓄積するため、ユーザに必要なより正確な情報を提供することができ、情報提供のためのユーザの努力を要求しないため、使いやすさを提供する効果がある。

【図面の簡単な説明】

【0032】

【図1】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置を含むシステムを示す概念図である。

【図2】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置の構成を具体的に示す詳細ブロック図である。

【図3】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置の動作方法を示すフローチャートである。

【図4】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がモーション感知によって案内情報を出力する過程を説明するための概念図である。

【図5】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）またはクラウドサーバと連動することを説明するための概念図である。

【図6】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置が映像分析に応じて出入者を識別する過程を示すフローチャートである。

【図7】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がドアロック装置と連動して広告コンテンツを表出する過程を説明するための概念図である。

【図8】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置が外部サーバと連動する過程を説明するための概念図である。

【図9】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がユーザに取り付けられたウェアラブル装置（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）と連動することを示すブロック図である。

【図10】本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置が提供するメモ機能を説明するための概念図である。

【発明を実施するための形態】

【0033】

本発明は、多様な変更を加えることができ、様々な実施形態を有することができるため、特定の実施形態を図面に例示して詳細に説明する。

【0034】

しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものと理解されるべきである。

【0035】

「第１」、「第２」などの用語は多様な構成要素を説明するために使用できるが、前記構成要素は前記用語により限定されてはならない。前記用語は、１つの構成要素を他の構成要素から区別する目的でのみ使用される。例えば、本発明の権利範囲を逸脱することなく、第１構成要素は第２構成要素と命名されてもよく、同様に第２構成要素も第１構成要素と命名されてもよい。「及び／又は」という用語は、複数の関連する記載された項目の組み合わせ又は複数の関連する記載された項目のうちいずれかの項目を含む。

【0036】

ある構成要素が他の構成要素に「連結されて」いるまたは「接続されて」いると言及された場合は、その他の構成要素に直接連結されているかまたは接続されている場合もあるが、中間に別の構成要素が存在する場合もあると理解されるべきである。それに対して、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された場合は、中間に他の構成要素が存在しないものと理解されるべきである。

【0037】

本出願において使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は文脈上明らかに異なる意味を有しない限り、複数の表現を含む。本出願において、「含む」又は「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、１つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものと理解されるべきである。

【0038】

異なる定義がない限り、技術的または科学的な用語を含めて、ここで使用される全ての用語は、本発明が属する技術分野において通常の知識を有する者により一般的に理解されるものと同一の意味を有する。一般的に使われる辞書に定義されているような用語は、関連技術の文脈上に有する意味と一致する意味を有するものと解釈されなければならず、本出願において明白に定義しない限り、理想的または過度に形式的な意味と解釈されない。

【0039】

以下、添付の図面を参照して、本発明の好ましい実施形態をより詳しく説明する。本発明を説明するにおいて、全体的な理解を容易にするために図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素について重複した説明は省略する。

【0040】

図１は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置を含むシステムを示す概念図である。図１に示すように、本発明の一実施形態によるＡＩ秘書システムは、ネットワーク１００、ドア撮影カメラ１１０－１、１１０－２、ドアロック装置１２０、ＡＩ秘書装置１３０及び出力装置１４０を含む。

【0041】

図１を参照する。ドア撮影カメラ１１０－１、１１０－２はドアを出入りする人を撮影する。ドア撮影カメラ１１０－１、１１０－２はドアの外部及び／又は内部に設置されてドア外部の一領域及びドア内部の一領域を撮影することができる。ドア撮影カメラ１１０－１、１１０－２は出入りする人々の映像を撮影して撮影された映像をネットワーク１００を介してＡＩ秘書装置１３０に提供する。一例において、カメラは普段は撮影のみを実行し、映像を送信しないが、映像内にオブジェクトが存在する時にのみ映像をＡＩ秘書装置１３０に提供する。または、モーションセンサと連動して出入りが感知される時にのみ撮影機能及び映像送信機能を開始するように設定できる。

【0042】

ドアロック装置１２０はＡＩ秘書装置１３０と連動し、ドアの開閉を制御する。ドアロック装置１２０は指紋認識方式、ボタン方式、パターン方式、虹彩認識方式などの多様な方式により開閉され、プッシュプル方式、または回転型ハンドル方式で開閉されてもよい。ドアロック装置１２０もＡＩ秘書装置１３０と連動できる。

【0043】

ＡＩ秘書装置１３０はネットワーク１００を介してドア撮影カメラ１１０－１、１１０－２、ドアロック装置１２０及び出力装置１４０と連動する。ＡＩ秘書装置１３０はドア撮影カメラ１１０－１、１１０－２から映像情報を取得し、これを分析することにより、出入りする人の特性を推論し、推論された特性に対応する情報を出力装置１４０を介して案内する。
ＡＩ秘書装置１３０はコンピューティング装置として実現されてもよく、映像分析及び特性推論のためのプロセッサを含む。一例において、ＡＩ秘書装置１３０は宅内に設けられたコンピューティング装置であってもよい。場合によっては、ＡＩ秘書装置１３０は、移動局（ＭＳ）、ユーザ装置（ＵＥ；Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、ユーザ端末（ＵＴ；Ｕｓｅｒ Ｔｅｒｍｉｎａｌ）、無線端末、アクセス端末（ＡＴ）、端末、固定または移動加入者ユニット（Ｓｕｂｓｃｒｉｂｅｒ Ｕｎｉｔ）、加入者ステーション（ＳＳ；Ｓｕｂｓｃｒｉｂｅｒ Ｓｔａｔｉｏｎ）、セルラー電話、無線機器（ｗｉｒｅｌｅｓｓ ｄｅｖｉｃｅ）、無線通信デバイス、無線送受信ユニット（ＷＴＲＵ；Ｗｉｒｅｌｅｓｓ Ｔｒａｎｓｍｉｔ／Ｒｅｃｅｉｖｅ Ｕｎｉｔ）、移動ノード、モバイル、モバイル局、個人携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ：ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パソコン、無線センサ、消費者向け電子機器（ＣＥ）または他の用語として呼ばれてもよい。場合によっては、ＡＩ秘書装置１３０は、ドアロック装置１２０と一体型に製作された装置として実現されてもよい。

【0044】

出力装置１４０は、ディスプレイ部１４２及びスピーカ１４４を含む。これは１つの装置として実現されてもよく、別の装置として実現されてもよい。出力装置１４０は、ドアに取り付けられた形態で提供されてもよい。すなわち、出入者がドアを出る時、ドアに取り付けられたディスプレイ部１４２を介して商品を推薦したり関連した情報を案内することにより購買を誘導することができ、スピーカ１４４を利用して案内事項を話す形態で動作することもできる。ディスプレイ部１４２はタッチスクリーンであってもよい。場合によっては、ディスプレイ部１４２及びスピーカ１４４は、宅内または家の前またはアパート出入口に配置されるキオスク形態で実現されてもよい。

【0045】

ネットワーク１００は、宅内での無線通信のための近距離ネットワークを含む。これは、Ｗｉ－Ｆｉ（登録商標）、ブルトゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ジグビー（Ｚｉｇｂｅｅ（登録商標））通信の少なくとも１つを含む。他の例において、ネットワーク１００は、３Ｇ、ＬＴＥ、５Ｇ通信のような広帯域通信及び／又は有線通信を含んでもよい。

【0046】

図２は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置の構成を具体的に示す詳細ブロック図である。図２に示すように、本発明の一実施形態によるＡＩ秘書装置は、通信部２１０、メモリ２２０、プロセッサ２３０及び入出力部２４０を含む。

【0047】

図２を参照する。通信部２１０は有線及び／又は無線ネットワークを介して外部装置と通信を行う構成要素である。通信部２１０はアンテナ及び／又は通信プロセッサを含んでもよい。

【0048】

プロセッサ２２０は、映像分析及び特性推論機能及びそれに伴う付加機能を実行する構成要素であり、該当機能と関連したプログラムまたはアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）を実行する。プロセッサ２２０は人工知能モデルに関連するプログラムを実行できる。
人工知能モデルは、映像分析モデル（オブジェクト推論モデル）、音声分析モデル、オブジェクトの特性を推論するモデル及び推論された特性に対応する情報を検索及び出力するモデルを含んでもよい。これは、ＡＮＮ（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、及びＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の少なくとも１つを含む。

【0049】

プロセッサ２２０は、メモリ２３０と信号線を介して接続され、メモリ２３０に保存されたプログラムを実行する。

【0050】

メモリ２３０（「保存所」と呼ばれてもよい）は、プロセッサ２２０で実行すべきプログラムに関連する命令語を保存し、プロセッサ２２０で処理されるデータを保存している保存装置である。メモリ２３０はドア撮影カメラから取得される映像情報を保存している。

【0051】

入出力モジュール２４０は、キーボード、マウスのような情報入力手段及びモニタ、テレビ、タッチスクリーンのような情報出力手段を含む。これは、図１の出力装置１４０と同一であってもよく、ＡＩ秘書装置用として別途の装置で実現されてもよい。

【0052】

図３は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置の動作方法を示すフローチャートある。

【0053】

図３を参照する。装置はドア撮影カメラから映像情報を受信する。そして、映像内に存在するオブジェクトを分析する（Ｓ３１０）。この時、映像内に存在するオブジェクトが人であるか否かを判断し、人の身体及び身体に取り付けられた物品（例えば、衣類、靴、及びその他アクセサリ）の状態を分析する。装置はドア映像から映像情報を蓄積及び活用して出入者を識別及び認識し、認識された出入者の状態を継続的にアップデートする。この時、映像収集時に撮影時点情報が提されてもよく、映像分析時に撮影時点及び該当時点の他の環境情報も一緒に分析することができる。これにより、現在の環境に対応する環境及び現在の時点に基づいて過去の同一の環境及び時点の映像情報を参照してそれに対応する情報及び商品を案内することができる。

【0054】

装置は映像分析の結果から出入者の身体状態、体型、関連物品の状態を判断する（Ｓ３２０）。装置は毎日ドアカメラにより撮影された映像データを蓄積して出入者の状態を推論する。体型の変動、身体に傷があるか、髪の毛が基準値以上伸びているかなどを判断して現在の出入者または関連物品の状態を決定する。

【0055】

より具体的に、ＡＩ秘書装置は静的な写真データだけでなく動的なデータも一緒に処理できる。装置は動的データから保存された映像内のオブジェクトを分析することができる。このとき、動的なデータは動画、光源及びグラフの少なくとも１つを含む。特に、装置は多様な衣類及びアクセサリ着用を含む身体の形とサイズ、時間別の影、光源による身体の光反射、骨格、頭状、手の形、指紋（これはドアロック装置を介して取得可能）、手相、毛穴、血管、網膜、虹彩、顔面、体温、歩き方、音声及び音波（マイクを介して取得可能）のいずれか１つを含んでもよい

【0056】

一方、装置がドア映像により出入者を識別するにおいて、より正確な識別のために、装置は出入者識別後に、識別された出入者のユーザ端末に装着されたメモリ（メモリ内の映像データ）、映像保存アプリケーション、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）に登録されたユーザ情報を蓄積、共有及び連動することによりさらに多くのデータを蓄積及び分析に活用することができる。この時、識別された出入者と関連した前記デバイス、アプリケーション、ＳＮＳなどは連係できるように、予め関連設定がされていることが好ましい。この時、ユーザ設定などにより収集同意、収集周期、収集されるべき項目を詳細に選択することができる。

【0057】

装置は、推論された状態情報に基づいて対応する情報を案内する（Ｓ３３０）。装置は、環境情報を蓄積して今日の天気予報に対応する適切な衣装などを案内することができる。例えば、体型が基準値以上変動することにより変動した体型に合う衣類及び靴などの商品を新しいサイズで推薦することができる。また、髪の毛または爪などが基準値以上伸びたことを確認すれば、ヘア／爪のカットを案内することができる。この時、カード会社情報と連係して、出入者が以前に通っていた美容室に予約メール発送を自動的に推薦することができる。出入者はＡＩ秘書装置の推薦画面において「はい」という情報だけ入力すれば、ＡＩ秘書装置が自動的に該当美容室の端末に予約情報を送信することができる。

【0058】

追加的に、体型分析及び身体状態分析により出入者の健康状態を推論し、身体ダイエット分析モデルを利用して現在の身体状態に対応するダイエット献立または関連商品を推薦することができる。前述したように、装置は、推論された体型または身体サイズに基づいてそれに対応する衣類及び商品を推薦することができる。この時、体型と現在の季節／天候などの情報が共に考慮されることが好ましい。出入者の身体に生じた傷（擦過傷など）に対応して、当該部位を出力装置を介して表示し、それに対応する措置（軟膏及び絆創膏貼り）を案内することができる。また、出入者の皮膚状態、ヘア状態などに基づいて該当人員に必要な生活必需品などの購買に関する情報を案内することができる。

【0059】

装置は、ドアを出入りする人が複数である時、相異なる人を独立的に識別することができ、案内される情報も識別された人に対応する情報をマッチングして案内することができる。すなわち、現在ドアカメラにより撮影された人が「Ａ」であれば、「Ａ」に関連する蓄積されたデータを利用して「Ｘ」情報を提供し、現在の出入者が「Ｂ」であれば、「Ｂ」に関連する蓄積されたデータを利用して「Ｙ」情報を提供することができる。

【0060】

一方、装置は、ダイエットアプリと連動してショッピングのためのパーソナライズ機能を提供することができる。ダイエット過程中にＢＭＩ（Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）測定機能があるアプリケーションまたは体重計と連動して出入者に適した衣類を買う時点を推薦することができる。場合によっては、衣類の着用ショット、製品及びブランド情報をＡＩ秘書装置を使用する他のユーザと共有し、共有したユーザは共有された写真に応じる広告収入を受けられるように制御できる。

【0061】

装置は、ドア及び関連映像から出入者の観相及び運勢情報を推論することができる。装置に予め保存されていた東洋学ソリューションにより行われる。東洋学ソリューションは周易／四柱及び観相に関連する分析プログラムを含む。また、出入者の手相情報を分析して今日の運勢情報と対応させ、対応する運勢情報を出力するようにすることができる。

【0062】

一方、装置はマイク（図示せず）などの音声入力手段を利用してドアを出入りする人の音声情報を取得して、該当データを蓄積及び活用することにより出入者を認識する。すなわち、映像情報だけでなく音声情報も一緒に活用できる。

【0063】

図４は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がモーション感知に応じて案内情報を出力する過程を説明するための概念図である。

【0064】

図４を参照する。ＡＩ秘書装置４２０は、図３の過程を通じて決定された案内情報を常時出力することもできるが、電力消耗減少の側面を考慮して、該当ドアを出入者が移動する時にのみ出力するように制御することもできる。装置４２０は、モーション感知センサ４１０またはドアカメラ（図示せず）により、既に設定された範囲（例えば、ドアから半径３ｍ）に人の動きが感知される時にのみ、案内情報が出力装置４３０を介してテキスト表示、映像表示または音声表示などの方法で出力されるように制御できる。

【0065】

図５は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）またはクラウドサーバと連動することを説明するための概念図である。

【0066】

図５を参照する。ＡＩ秘書装置５１０はネットワーク５２０を介してインターネットに接続可能であり、これによりクラウドサーバ及び／又はアプリケーションサーバ５３０と連動できる。前記サーバ５３０は少なくとも１つのユーザ端末５４０－１～５４０－Ｎと情報を共有することができる。

【0067】

すなわち、サーバ５３０は、ユーザ端末５４０－１～５４０－Ｎにおいて実行されるアプリケーションと関連したサーバ装置であってもよく、ＡＩ秘書装置５１０は、ユーザ端末５４０－１～５４０－Ｎにおいてアプリケーションが実行される時、案内情報を該当端末に提供することができる。このとき、サーバ５３０はクラウドネットワーク、ホームネットワークを利用して通信することができる。ホームネットワークを利用した通信の時、サーバ５３０はホームサーバであってもよい。または、Ｄ２Ｄ（Ｄｅｖｉｃｅ ｔｏ Ｄｅｖｉｃｅ）方式で通信できる。保安性を高めるために、ＡＩ秘書装置５１０とユーザ端末５４０－１～５４０－Ｎが直接Ｄ２Ｄ方式で通信できる。また、ＡＩ秘書装置５１０のメモリにある情報の少なくとも一部はサーバ５３０にリアルタイムにまたは周期的に伝達されることができる。

【0068】

前記ユーザ端末５４０－１～５４０－Ｎはドア出入者が所持した端末であってもよく、それに関連したユーザ（例えば、家族）であってもよい。この時、案内情報も出入者を識別して、識別された出入者と対応する端末にのみ提供されるように予め設定できる。すなわち、出入者「Ａ」の情報は端末５４０－１にのみ、「Ｂ」情報は端末５４０－２にのみ伝達されるように設定できる。

【0069】

また、ＡＩ秘書装置５１０が直接ユーザ端末５４０－１～５４０－Ｎに情報を提供せず、サーバ５３０がリアルタイムでＡＩ秘書装置５１０から案内情報を受信し、ユーザ端末５４０－１～５４０－Ｎからの要求がある時、サーバ５３０が直接要求に対応する案内情報を提供する方式で動作することもできる。ただし、保安性を高めるためには、サーバ５３０にユーザと関連した情報を保存せず、ユーザ端末５４０－１～５４０－Ｎに直接映像分析情報及び／又は案内情報を提供することが好ましい。

【0070】

図６は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置が映像分析により出入者を識別する過程を示すフローチャートである。

【0071】

図６を参照する。装置がドアカメラから映像を取得すると（Ｓ６１０）、オブジェクト認識アルゴリズムを利用して映像内に存在するオブジェクトを識別する（Ｓ６２０）。この時、間欠的に家を訪問する訪問客の情報まで分析及び関連情報を案内すれば装置の処理能力の浪費となるため、装置は特定オブジェクトとして識別された回数が既に設定された基準値以上であるかを判断して（Ｓ６３０）、基準値以上の場合にのみ該当家に常駐する人員と判断してその特性を推論するように制御する（Ｓ６４０）。この時、時間概念を一緒に考慮して、一週、一ヶ月のような基準日内に何回以上出入りするかを基準値に設定することもできる。

【0072】

図７は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がドアロック装置と連動して広告コンテンツを表出する過程を説明するための概念図である。

【0073】

図７を参照する。ＡＩ秘書装置（図示せず）はドアロック装置７１０だけでなく、ドアの外側に取り付けられたディスプレイ装置７２０と連動することができる。この時、ＡＩ秘書装置はネットワークを利用してディスプレイ装置７２０に広告コンテンツ情報を提供することができる。これは、事業体の広告情報を含む。例えば、広告情報はディスプレイ装置７２０が取り付けられたドアの家から一定半径内に存在するＸＸ食堂の割引情報、クーポン情報、関連商品情報などを含む。
前記広告情報は前記家から一定半径内に存在する事業体の広告情報であり得るため、広告コンテンツを提供する事業体（広告主）はローカル網を介してＡＩ秘書装置に広告コンテンツを提供し、ＡＩ秘書装置はこれを出力する。これを出力することにより取得された収入に関して、広告主は収益を一定部分配分することができる。ディスプレイ装置７２０はモーションセンサ（またはカメラ）と連動して、人の接近が感知される時にのみ広告コンテンツを表示するように制御できる。

【0074】

一方、場合によっては、ディスプレイ装置７２０はドアロック装置７１０と一体型に形成されてもよい。

【0075】

図８は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置が外部サーバと連動する過程を説明するための概念図である。

【0076】

図８を参照する。ＡＩ秘書装置８１０はネットワーク８２０を介して外部サーバ８３０と連動できる。ここで、外部サーバ８３０は、銀行／カード会社、保険会社、オンラインショッピングモールサーバ、医療機関サーバ及びその他のサーバ装置を含んでもよい。

【0077】

装置８１０は、出入者の口座と関連した銀行／カード会社のサーバと連動して、オンラインバンキング機能を提供する。これにより、口座振替、費用支払いなどのオンライン取引を成功させることができる。特に、装置は、オンラインショッピングモールサーバとも連動できるため、案内情報が推薦商品情報であれば、最低価格検索により適切なオンラインショッピングモールを探して推薦商品を購買する機能を共に提供することができる。

【0078】

装置は、医療機関または保険会社のサーバと連動して、該当機関のデータベースから情報を取得することができる。これにより、前述したように、出入者の身体に変化が発生じそうな事件と事故及び被害度を推論してシミュレーションすることができる。そして、身体変化の予測にも前記のようなデータベースの情報が活用できる。特に、医療機関サーバとの連動により、現在の健康状態に適した治療情報を取得することができる。
一例として、擦過傷が感知される時、装置は医療保険データベースを検索して、当該出入者がよく行く病院のサーバに接続し、接続された病院での治療について質疑する。出入者が治療することを選択すると、装置は当該サーバに現在の状態情報（擦過傷あり及び関連映像を提供）を提供して、サーバから適切な医療措置（診療情報）を受信することができる。このような動作は、ユーザ端末と連動してユーザ端末に提供されることもできる。

【0079】

装置は、警察署、消防署などの公共機関のサーバと連動して、犯罪者の身元情報などのデータベースを利用することができる。装置は出入者の映像分析情報を前記データベースから取得された犯罪者の身元情報と対照して、犯罪者と疑われる人員に対して警告するなどの案内情報を出力し、関係機関にこれを知らせる形態の自動警報対応措置を取るよう制御することができる。

【0080】

図９は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置がユーザに取り付けられたウェアラブル装置（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）と連動することを示すブロック図である。

【0081】

図９を参照する。ＡＩ秘書装置９１０はユーザに取り付けられたウェアラブル装置９２０と連動できる。ウェアラブル機器はユーザが着用し始めた瞬間から位置情報を含む身体情報をスキャン、分析、保存し、これをＡＩ秘書装置９１０と共有する。ウェアラブル装置９２０は平均血中酸素飽和度、平均心拍波動などを測定することができ、これは個別にまたは組み合わせて、出入者を認証するデータとして活用できる。すなわち、このようなデータはドアロック装置（図示せず）を解除するために使用できる。

【0082】

装置は、ウェアラブル装置９２０から取得された情報を図８の実施形態において説明した医療／保険会社情報と連携して処理することができる。装置はウェアラブル装置９２０において出入者の平均心拍数、血中酸素飽和度などの値から基準値以上外れた数値が発生することに対応して、医療機関サーバにこれを知らせることができる。この時、既存の出入者の情報を確認するために、保険会社情報が活用されることができる。

【0083】

図１０は、本発明の一実施形態によるドア映像分析ベースのＡＩ秘書装置が提供するメモ機能を説明するための概念図である。

【0084】

図１０を参照する。ＡＩ秘書装置１０１０はドアの上側及び／又は内側に取り付けられたディスプレイ装置１０３０と連動することができる。この時、ディスプレイ装置１０３０はテキストまたはその他の絵の形態のメモを残すことができる。ディスプレイ装置１０３０がタッチスクリーンとして実現されて入力装置機能を共に含むこともでき、別途のキーボードが周辺に配置されてメモが入力されるようにすることもでき、ユーザ端末またはＡＩ秘書装置１０１０の入力手段を利用してメモメッセージを入力することもできる。
メモメッセージはドアを出るときに出入者が見られるようにするメッセージでありうる。一例として、母親が息子に「○○ちゃんＸＸ持って行って」などのメッセージを残すことができる。この時、装置１０１０は常時メモを表示することもできるが、メッセージ内容に符合する人員がドアに接近する時、メッセージを表示するようにディスプレイ装置１０３０を制御できる。すなわち、ドアカメラ（またはマイク）を介して映像（または音声）を分析し、メモメッセージの対象となる人物のドア側への接近が感知される時、該当メモが表示されるように制御できる。このために、映像／音声分析だけでなく、メッセージの内容分析も要求されることができる。従って、ＡＩ秘書装置１０１０は構文分析アルゴリズムを利用してメモメッセージのテキストを分析してその中に含まれた対象を指す用語（例えば、母親、父親、息子、娘、または彼らの名前、愛称など）を抽出し、それに対応する映像をマッチングして、マッチングされた映像に該当する人物の接近に対応できる。

【0085】

装置１０１０は複数のメモメッセージを一緒に保存していてもよく、複数の人物を識別して、相異なる時点で、Ａ人物には第１メッセージを、Ｂ人物には第２メッセージを表示するようにディスプレイ装置１０１０を制御することができる。または、団体で出入りする時は、同一時点でＡ及びＢ人物に第１及び第２メッセージが組み合わされて表示されるように制御することもできる。

【0086】

他の例において、メモメッセージをメモメッセージの対象となる人物のユーザ端末に伝達してユーザ端末のアプリケーションまたはテキストメッセージにより該当メモを確認できるようにデータを送信することもできる。

【0087】

以上、図面及び実施形態を参照して説明したが、本発明の保護範囲が前記図面または実施形態により限定されることを意味するものではなく、当該技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更できることが理解できるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】