[go: up one dir, main page]

JP7333823B2 - 携帯機器向け携帯機器アクセサリを使用および位置合わせするためシステムおよび方法 - Google Patents

携帯機器向け携帯機器アクセサリを使用および位置合わせするためシステムおよび方法 Download PDF

Info

Publication number
JP7333823B2
JP7333823B2 JP2021548202A JP2021548202A JP7333823B2 JP 7333823 B2 JP7333823 B2 JP 7333823B2 JP 2021548202 A JP2021548202 A JP 2021548202A JP 2021548202 A JP2021548202 A JP 2021548202A JP 7333823 B2 JP7333823 B2 JP 7333823B2
Authority
JP
Japan
Prior art keywords
center
processing
housing opening
current position
housing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548202A
Other languages
English (en)
Other versions
JP2022519909A (ja
Inventor
ラトナー,セルジオ
ビリマス,ジャスティナス
Original Assignee
フィットスキン インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フィットスキン インコーポレイテッド filed Critical フィットスキン インコーポレイテッド
Publication of JP2022519909A publication Critical patent/JP2022519909A/ja
Application granted granted Critical
Publication of JP7333823B2 publication Critical patent/JP7333823B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443Evaluating skin constituents, e.g. elastin, melanin, water
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/565Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/566Accessory clips, holders, shoes to attach accessories to camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Studio Devices (AREA)

Description

関連出願の相互参照
本願は、2019年2月19日に出願された米国仮特許出願第62/807,553号の優先権を主張し、当該出願の内容は参照により本明細書に援用される。
使用するのに最適なスキンケア製品、および、肌に最もよく合うカラー化粧品を決定する能力は、美容業界において最も大きな2つの課題である。これらの課題は、オンラインでショッピングする場合に一層ひどくなる。皮膚科医または熟練した専門家の経験、および色補正された画面なしでは、最良の購入判断を下すのはまず不可能である。
これらの問題のうちの少なくともいくつかを解決するための従来の装置は、特定のスマートデバイスに適合するように特別に設計する必要があった、または、カメラ、プロセッサ、無線送信機、および画面を含む一つの装置として統合されている。こうした手法は柔軟性を低くし、コストを増加させる。
本発明は、使いやすく低コストの装置を用いて両方の問題を解決する。この装置は多くのコンピュータ装置、例えばアップル社製のiPhone、サムスン電子製のタブレット、ノートパソコン、デスクトップPCと共に動作する。また、この装置はほぼすべてのデジタルカメラに取り付けることができる。
一部の携帯アクセサリでは、位置合わせが正常動作に不可欠となることがあり、位置合わせ目標位置から少しずれただけでも携帯アクセサリが役に立たなくなってしまう。それゆえ、適切な位置合わせが非常に重要である。それと同時に、満足のいくユーザ体験のために容易に取り付け、および取り外しが可能な適応性のあるハードウェアは、純粋にハードウェアベースとなる位置合わせの機構や方法を含まないことがあり、ハードウェアとアルゴリズムが一緒に使用されることがある。しかし、携帯機器は限られたリソース(処理能力、メモリ、画面サイズ、および同種のもの)を有することがあり、携帯アクセサリの機能は携帯機器がユーザのために実行していることだけに小さく集中していることがある。そのため、独自の設計に基づく独自の機能を実行可能で、携帯機器に取り外し可能に取り付けることもできる、独特な携帯アクセサリに対するソリューションのアルゴリズム部分またはソフトウェア部分は、正しく位置合わせされるために携帯機器の限られたリソースを使う必要がある。したがって、そのような要求がいまだにある。
本発明は様々な皮膚の属性を測定する装置および方法に関し、特に、任意のスマートフォン、タブレット、または内蔵カメラを有するコンピュータ装置に合うように作られた装置に関する。
スマートデバイスを使った測定が可能で、スマートデバイスに取り付けられる張力がかかるクリップと、1つまたは複数の電子部品を収容するコンポーネントハウジングを含む装置が存在する。
装置は、ハウジングの反対側に存在し、スマートデバイスがスマートデバイスへ取り付けおよび固定される際に、スマートデバイスの画面上でスクリーンガイドを確認できるようにしうる案内開口部をさらに含みうる。
また、装置を用いてスマートデバイスを使った測定を可能とする方法が存在し、この方法は、装置のハウジングがスマートデバイスの背面のカメラに近接するように装置をスマートフォンに取り付けることと、スマートフォンの画面上のスクリーンガイドが装置の案内開口部を通して見えるように装置を調整すること、とを含む。
取り外し可能に取り付け可能な皮膚分析装置を位置合わせする方法が存在し、皮膚分析装置はハウジング開口部を画定するハウジングを含み、ハウジング開口部はハウジング開口部中心を含み、皮膚分析装置が位置合わせ目標位置にある場合にハウジング開口部は携帯機器のカメラの上に中心に置かれ、ハウジングは皮膚分析を実行する皮膚分析コンポーネントをさらに含み、方法は、
携帯機器上の現在位置にある皮膚分析装置を観察することと、
ハウジング開口部の少なくとも一部を含む現在位置画像をカメラで撮影することと、
現在位置画像に対して処理を行って現在位置が位置合わせ目標位置であるかを判定することと、
処理からのメッセージを伝えることと、を含む。
処理はさらに、
ハロー(光輪)処理を行うことと、
ハロー処理が成功した場合に、
底面を使ってマイクロ処理を行い、ハロー処理を確認することと、を含みうる。
カメラは視野中心をさらに含む視野を有することができて、処理はさらに、
現在位置画像内にハウジング開口部中心を配置することと、
現在位置画像内でハウジング開口部中心が視野中心にあるかを確認することと、
ハウジング開口部中心が視野中心にある場合は成功メッセージを返送し、ハウジング開口部中心が視野中心にない場合は失敗メッセージを返送することと、を含みうる。
ハウジング開口部は円形底面を有することができて、現在位置画像内のハウジング開口部の一部分は円形底面の円弧部分の組を含むことがあり、配置することは円弧部分の組を使ってハウジング開口部中心を判定することを含みうる。
配置することは、ハロー処理を実行することを含みうる。
現在位置画像内でハウジング開口部中心が視野中心に置かれていない場合、確認することはさらに、
配置されたハウジング開口部中心を使い調整値を計算して皮膚分析装置へ適用し、皮膚分析装置を現在位置から位置合わせ目標位置へ動かすこと、を含むことができて、
失敗メッセージは調整値をさらに含む。
計算することは、カメラの視野を正規化するために現在位置画像をクロップすることをさらに含みうる。
処理はさらに、
視覚的位置ずれインジケータ(指示子)のために現在位置画像に対してマクロ処理を行うことと、
視覚的位置ずれインジケータが見つかった場合、現在位置画像から視覚的位置ずれインジケータを取り除くための調整値をさらに含む失敗メッセージを返送することと、を含みうる。
方法は、携帯機器の画面上にメッセージを表示することをさらに含みうる。
方法はさらに、メッセージが成功メッセージである場合に共同機能を実行することを含みうる。
位置合わせに左右される携帯機器アクセサリ(携帯機器アクセサリ)を携帯機器上の位置合わせ目標位置に準備する方法がさらに存在し、この方法は、
未知の位置合わせ位置である現在位置にある、携帯機器に取り外し可能に取り付けられる携帯機器アクセサリを観察することと、
携帯機器のカメラから、現在位置にある携帯機器アクセサリの少なくとも一部の像を含む現在位置画像を取得することと、
現在位置画像に対して処理を行って現在位置が位置合わせ目標位置であるかを判定することと、
処理からのメッセージを伝えることと、を含む。
現在位置が位置合わせ目標位置ではない場合、処理はさらに、
調整値を計算して携帯機器アクセサリへ適用し、携帯機器アクセサリを現在位置から位置合わせ目標位置へ動かすことを含むことができて、メッセージはさらに調整値を含む。
処理はさらに、
視覚的位置ずれインジケータのために現在位置画像に対してマクロ処理を行うことを含むことができて、
視覚的位置ずれインジケータが見つかった場合、メッセージは現在位置画像から視覚的位置ずれインジケータを取り除くための調整値をさらに含む。
方法はさらに、
観察するより前に、携帯機器の画面上に位置合わせガイドを示して携帯アクセサリを現在位置に配置するのを支援すること、を含みうる。
位置合わせガイドは携帯機器アクセサリのベースコネクタの形状を有することができて、ベースコネクタは位置合わせガイドの場所および方向で画面に当てられる。
位置合わせガイドの形状および場所は、携帯機器ごとに変わりうる。
伝えることにはさらに、携帯機器の画面上に、現在位置を表す現在位置インジケータを位置合わせ目標位置に対して表示することを含むことができて、現在位置インジケータは位置的に固定されうるが、現在位置が位置合わせ目標位置にどれだけ近いかに応じて変わる。
また、スキンケア分析用のシステムが存在し、このシステムは、
携帯機器に取り外し可能に取り付け可能でハウジング開口部を画定するハウジングを含む皮膚分析装置であって、ハウジング開口部はハウジング開口部中心を含み、皮膚分析装置が位置合わせ目標位置にある場合にハウジング開口部は携帯機器のカメラの上に中心に置かれ、ハウジングは皮膚分析を実行する皮膚分析コンポーネントをさらに含む、皮膚分析装置と、
画面およびカメラをさらに含む携帯機器と、を含み、携帯機器は、
ハウジング開口部の少なくとも一部を含む現在位置画像をカメラで撮影し、
現在位置画像に対して処理を行って現在位置が位置合わせ目標位置であるかを判定し、
処理からのメッセージを伝える、よう構成される。
カメラは視野中心をさらに含む視野を有することができて、処理はさらに、
現在位置画像内にハウジング開口部中心を配置することと、
現在位置画像内でハウジング開口部中心が視野中心にあるかを確認することと、
ハウジング開口部中心が視野中心にある場合は成功メッセージを返送し、ハウジング開口部中心が視野中心にない場合は失敗メッセージを返送することと、を含みうる。
ハウジング開口部は円形底面を有することができて、現在位置画像内のハウジング開口部の一部分は円形底面の円弧部分の組を含むことがあり、配置することは円弧部分の組を使ってハウジング開口部中心を判定することをさらに含みうる。
現在位置画像内でハウジング開口部中心が視野中心にない場合、確認することはさらに、
配置されたハウジング開口部中心を使い調整値を計算して皮膚分析装置へ適用し、皮膚分析装置を現在位置から位置合わせ目標位置へ動かすこと、を含むことができて、
失敗メッセージは調整値を含む。
計算することは、カメラの視野を正規化するために現在位置画像をクロップすることをさらに含みうる。
処理はさらに、
視覚的位置ずれインジケータのために現在位置画像に対してマクロ処理を行うことと、
視覚的位置ずれインジケータが見つかった場合、現在位置画像から視覚的位置ずれインジケータを取り除くための調整値をさらに含む失敗メッセージを返送することと、を含みうる。
携帯機器はさらに、携帯機器の画面上にメッセージを表示するよう構成されうる。
携帯機器はさらに、メッセージが成功メッセージである場合に皮膚分析装置との共同機能を実行するよう構成されうる。
皮膚分析装置は、ベースであって、ベースの端部およびハウジングの端部でヒンジによりハウジングに取り付けられるベースをさらに含むことができて、ベースとハウジングは携帯機器の反対の面で携帯機器に接触して、その結果皮膚分析装置は携帯機器に加圧されて取り付けられる。
本発明は、例示であり制限することは意図されていない添付の図面の図に示され、類似の参照記号は類似の、または対応する部品を指すことを意図している。
本発明の一実施形態に係る、例示の携帯機器、携帯アクセサリ、および関連するシステムの態様を示す。 本発明の一態様に係る、取り外し可能な携帯アクセサリを携帯機器に位置合わせする方法である。 本発明の一態様に係る携帯機器用アプリのスクリーンショットを示す。 本発明の一実施形態に係る携帯アクセサリの例示の現在位置画像である。 本発明の一態様に係る携帯機器用アプリのスクリーンショットを示す。 本発明の一態様に係る携帯機器用アプリのスクリーンショットを示す。
大まかには、本明細書に記載される本発明は、携帯機器に付着して、携帯機器と連動して行われうる数種類の機能を実行する携帯アクセサリである。携帯アクセサリの位置合わせは、携帯アクセサリの機能を適切に実行するのに重要でありうる。携帯アクセサリは独特の形状をしていることがあり、また、例えば人間の顔の画像を撮影することの一部のような、1つまたは複数の皮膚分析行為などの独自の機能を提供して、水分、毛穴、および同種のものを(例えば、携帯機器の構成要素と共同で)評価することが可能である。画像および他の測定値は記憶され、他のサンプルと比較されて、スキンケアを支援する製品を推薦するのに使用される。適切な位置合わせが不可欠である一方で、携帯機器および携帯アクセサリは限られた計算リソースを有することがあるので、適切な位置合わせを効率的に判断してシステム100の要素に過度な負担をかけないことが望ましい。
本明細書で使用される場合、また以下で記載される場合、以下の用語は以下の意味を持つ。
(a)位置合わせに左右される携帯機器アクセサリ:その機能を実行するために携帯機器上で適切な位置合わせを必要とする携帯機器アクセサリであって、位置合わせが略完全であることが必要となる可能性があり、さもないと機能がほぼ使い物にならない、携帯機器アクセサリ。
(b)背面:電子機器がそのユーザにより使用されている場合に典型的にはユーザに背を向けている、バックカメラを有することがある電子機器の面。
(c)電子機器または携帯機器:少なくとも1つのカメラ(および、好ましくは少なくとも1つのバックカメラ)を有し、携帯機器アクセサリが取り付け可能で、好ましくは(携帯電話やタブレットなどのような)携帯可能な機器であって、例示の電子機器には、スマートフォン、タブレット、デジタルカメラ、パソコン、テレビ、および同種のものが含まれる。
(d)電子機器アクセサリまたは携帯機器アクセサリ:携帯機器に取り外し可能に取り付けることができるアクセサリであって、皮膚分析装置を含みうる。
(e)前面:電子機器がそのユーザにより使用されている場合に典型的にはユーザの方を向いている、フロントカメラおよび画面を有することがある電子機器の面。
(f)画像:別途指定がない限り、本明細書では画像への言及は、デジタルデータで表現することができて、電子機器およびコンピュータ(アプリなど)で操作および処理することができるデジタル画像を指す。
(g)共同機能:携帯機器と携帯機器アクセサリ/位置合わせに左右される携帯機器アクセサリにより共同で実行される機能。
(h)皮膚特性:色、水分、脂っぽさ、弾力性、および同種のものなどの、1つまたは複数の皮膚(毛を含む)の特性。
(i)皮膚特性測定援助部:スキンケア測定を行う際に皮膚特性測定装置を支援するコンポーネント。これらは、通常は受動的(つまり、電子機器または皮膚分析装置による制御を必要としない)、または能動的(光源板や振動モータなどの電子機器による制御などを必要とする)のどちらかであると考えられる。
(j)皮膚特性測定装置:自身による制御、または別のコンポーネントの制御のいずれかの下で皮膚分析行為を行うコンポーネント。これらは、MD104またはMA102上にあってもよく、あるいはそれらとは別になっていてもよい。それぞれは、多くの皮膚分析行為、皮膚分析、皮膚分析較正、および皮膚分析測定を行うことがある、あるいはこれらの一部でありうる。
(k)皮膚分析:1つまたは複数の皮膚特性の1回または複数回の分析。
(l)皮膚分析行為:皮膚分析測定などの皮膚分析の一部につながる、またはこれらをもたらす行為であって、例示の皮膚分析行為には、写真撮影、水分センサの読取り、画像または記録を用いた弾力性の試験、および同種のものが含まれる。
(m)皮膚分析較正:正確な皮膚分析が可能となるように皮膚分析装置および/または電子機器のうちの1つまたは複数の側面を較正することであって、例示の皮膚分析較正には、露出および色温度(いずれも色補正のための変換機能を使って実現可能)のための光の規格化が含まれる。
(n)皮膚分析装置:MD104へ取り外し可能に取り付け可能で、1つまたは複数の皮膚特性測定装置もしくは皮膚特性測定援助部を有しうる、本発明の態様に係る装置。
(o)皮膚分析測定:水分測定値、しわ/小じわ/毛穴の画像、弾力性測定値、皮膚の色、および同種のものを含む、1つまたは複数の皮膚特性の測定であって、これらの皮膚特性はいずれも絶対的な、相対的な、または平均の「スコア」、つまり、毛穴のスコア、しわの相対的スコア、色、などと表現することができる。
(p)皮膚分析処理:画像に対して画像処理を行うなどにより、1つまたは皮膚分析測定値を処理すること。
(q)皮膚分析推薦:1回または複数回の皮膚分析の1つまたは複数の結果、および1つまたは複数のスキンケア製品の特性を用いて、ユーザに適切なスキンケア製品を推薦すること。
(r)スキンケア製品:保湿剤、小じわ対策クリーム、(ファンデーションやブラシなどの)化粧品、および同種のものなどの、1つまたは複数のスキンケアに関する特性を支援する製品。
(s)スキンケア製品製造会社:スキンケア製品の製作者、製造会社、販売業者、ブランド、およびブランドオーナー。
(t)スキンケア製品特性:製品の色、保湿能力、しわ低減能力、および同種のものを含みうる、特定の肌製品の特性。
(u)スキンケア最新情報:これらは、外部情報源からもたらされうるスキンケアに関連する情報を含みうる。例えば、天候(雲、太陽、高紫外線、雪)については、天候についての情報源(示されないが、当業者には既知)からもたらされることがある。
(v)皮膚特性:皮膚または体の一部の特性、例えば毛穴、吹き出物、感受性(肌の表面に近い血管が見えるようにする偏光、または他の光のスペクトルを使用することがあり、「より赤い」画像となることがある)、しわ、弾力性、水分、脂、にきび、および肌色など。
(w)ユーザ/人間ユーザ/被験者、人:皮膚分析装置を使う人、および/または、場合によっては皮膚特性サンプルの被験者である人。
以下の詳細説明は例示に過ぎず、説明される実施形態または本願、および説明される実施形態の使用を制限することは意図されていない。使用される場合、「例示の(exemplary)」または「例証の(illustrative)」という単語は、例、インスタンス、または図として機能する。「例示の(exemplary)」または「例証の(illustrative)」として説明される任意の実装は、必ずしも他の実装に対して好ましい、または有利であると解釈されるべきではない。
以下に記載される実装のすべては当業者が本開示の実施形態を作成する、または使用することができるように提供される例示の実装であり、本開示の範囲を制限することは意図されていない。
また、添付の図面に示され、以下の明細書に記載される装置およびプロセスは例示の実施形態(実施例)、態様、および/または添付の請求項で規定される概念であることも理解されたい。それゆえ、開示される実施形態に関連する寸法および他の物理的特性は、請求項が明示的に別途述べていない限り、制限的であると考えられるべきではない。「少なくとも1つ」という表現は「a」と同等であると理解される。態様(実施例、変更、修正、選択肢、変形、実施形態、および、その任意の均等物)は、図面に関して記述される。
フロー図内のフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品の取り得る実装のアーキテクチャ、機能、および動作を示す。これに関し、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実行する1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部分を表すことがある。また、ブロック図および/またはフローチャート図の各ブロック、およびブロック図および/またはフローチャート図におけるブロックの組み合わせは、指定された機能または動作を実行する専用のハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組み合わせにより実現可能であることにも留意される。コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で機能するよう指示することができるこれらのコンピュータプログラム命令はコンピュータ可読媒体に記憶することも可能であり、コンピュータ可読媒体に記憶された命令により、フローチャートおよび/またはブロック図の1つまたは複数のブロックで指定される機能/動作を実現する命令手段を含む製品が作られる。
図1Aは、携帯機器アクセサリ(MA)102および携帯機器(MD)104を含むシステム100の態様を示す。図1Bは、ヒンジ式取付け部108によりアクセサリ本体(本体)118にヒンジで取り付けられるアクセサリベース(ベース)106をさらに含むMA102を示し、ベース106はヒンジ式コネクタ114によりベース106にヒンジで取り付けられるベース接触部116をさらに含み、本体118はアクセサリハウジング部品(部品)112とハウジング接触部/ベゼル120とハウジング開口部122をさらに含みうるアクセサリハウジング(ハウジング)110とをさらに含む。
システム
システム100は、ユーザがMA102をMD104へ結合する、または取り付けて、MA102が位置合わせ目標位置にあるように配置できるようにすることができて、MA102が最適に動作できるようにする。これらすべては本明細書でより詳細に説明される。位置合わせ目標位置がほぼ完璧に位置合わせされる(例えば、ハウジング開口部の中心がMD104のカメラの視野の中心と厳密に一致する)のが好まれるが、特に本明細書に記載される機能(皮膚分析、共同機能、および同種のもの)の実行に対する調整値に基づき、不完全だがそれでも位置合わせ目標位置にあるとみなされる位置合わせに対していくらかの許容範囲がありうる。
MD104
MD104は、iPhone(登録商標)やAndroid(登録商標)携帯電話、タブレット、ノートパソコン、または他のコンピュータ装置などの携帯電話でありうる。MD104は、(少なくとも1つがMD104の背面にある)1つまたは複数のカメラなどのもう1つの構成要素と、そのような機器で一般的な他の構成要素、例えばカメラ用のフラッシュ8、電源ボタンおよび音量ボタン、振動を生じさせるためのモータ(MD104の内部の「振動モータ」)、308のような画面、プロセッサ、記憶装置/メモリ、および同種のものを有することがある(命令および/またはデータ、ならびに同種のものを処理、および記憶するためにMA102もその一部またはすべてを有することがある)。そのような構成要素の一部は、MD104の外面上に見える、または外面上に存在しうる視覚的または物理的な側面を有することがある(「見える構成要素」)。他の構成要素(「内部構成要素」)、例えばGPSトランシーバなどはMD104の内部に存在しうるが、正しく機能するためにMD104の外面に対して要件(GPSまたは他の無線信号を遮断しない、など)を有することがある。
MD104は、高価で高性能な構成要素(限定されないが、プロセッサ、記憶装置/メモリ、カメラ、および同種のものを含む)を含みうる。しかし、そのような構成要素は、他の皮膚特性測定装置や皮膚特性測定援助部なしには、皮膚特性測定装置や皮膚特性測定援助部には適していないことがある。例えば、カメラは良好な解像度を持っていても、皮膚特性および皮膚特性サンプルに適切な画像、および位置合わせを実行するためのMA102の画像を撮影するのを可能とする適切な特質(光学ズームや倍率)を有していないことがある。それゆえ、本明細書に記載されるように、(MA102および/またはMD104上で)皮膚特性測定援助部が用いられることがあり、他の皮膚特性測定装置が用いられることがある。
MD104は、様々なアプリケーションプログラミングインタフェース(「API」)へのアクセスを提供するオペレーティングシステムを有することがある。そのようなAPIにより、MD104上のアプリがAPIを「コール」してMD104の様々な機能(カメラ12が振動モータを制御する、フラッシュ8などの電子機器の光源を点ける、スキンケア行為を行う際の動作を制御する、および同種のもの)へアクセスすることが可能となる。
MD104には、知られているように(「アプリ」などの)ソフトウェアが搭載されていることがあり、ソフトウェアは「アプリストア」から入手してインストールすることができる。本発明の一実施形態に係るアプリは、MD104上でアクセスして本明細書に記載される機能を実行可能であり、人間ユーザが(本明細書に記載される機能へアクセスするという観点で)MD104およびMA102とインタラクションを行う第1の方法でありうる。アプリは、(図3および図5に関して示され説明されるような)様々なユーザインタフェース構成要素を用いて様々なユーザインタフェース308を表示するなどの、MD104の様々な機能および構成要素へアクセスすることができる。特に、アプリはユーザからの入力を受け付け、(例えば、水分センサ測定値を受け取る、光源を点ける、などのために)MA102へ信号を提供することができる。また、アプリは本明細書に記載されるように、データおよび命令を記憶するなどのためにMD104に配置された記憶装置へアクセスすることもできる。また、アプリはMD104とMA102の間、および1つまたは複数のネットワークの間で通信を行うこともできる。
MA102
MA102(携帯機器アクセサリ、またはより簡潔に携帯アクセサリ)は、MD104へ取り付けられるアクセサリでありうる。そのような取付けは数多くの方法で実現可能だが、そのような取付けは好ましくは、i)取り外し可能、ii)調整可能、そしてiii)取付けおよび取り外しが素早く行える。MA102はMD104のユーザに対して目的を持っていることがあり、そのような目的はMD104の用途に関連している、あるいは別のものでありうる。好ましくは、MA102は、MD104への取付けに最適な、MA102がその目的を最も効果的に実行することが可能な位置を有する。そのような位置は、位置合わせ目標位置と呼ばれることがある。一実施形態では、そのような位置合わせ目標位置は、MD104の背面上の特徴(バックカメラなど)と位置合わせされる本体118の一部を指すことがある。好ましくは、MA102は、MA102がMD104へ取り付けられる際にMD104により撮影することができて、これによりMA102の現在位置画像がもたらされる。好ましくは、現在位置画像はMD104などにより分析して、i)MD104に対するMA102の現在位置を判定する、または計算することができて、これによりMA102を位置合わせ目標位置へ持って行くのを支援可能であり、ii)1つまたは複数の調整(並進、回転、締め付け、および同種のもの)を決定してMA102をその現在位置から位置合わせ目標位置へと動かすことができる。好ましくは、MA102の大きさおよび形状は様々なMD104に対して使用可能である(つまり、単一モデルまたは単一設計のMA102が、本明細書に記載されるシステム100に対して考えられる調整に影響を受ける、様々な携帯電話の大きさ、カメラ位置、および同種のものに対して、MD104でのそのような差異を考慮して機能する)。
例示のMA102は、図1Bに示されるような皮膚分析装置でありうる。MA102および本明細書に記載される。
例示のMA102は、本明細書に記載されるように、位置合わせに左右される携帯アクセサリでありうる、および/または共同機能を実行することができる。
MA102はベース106および本体118をさらに含みうる。これらは、ベース106の端部および本体118(またはハウジング)の端部にあるヒンジ式取付け部108などのヒンジシステムにより取り付けることができて、これにより、ベース106がMD104の(前面などの)一方の面に(ベース接触部116を介して)加圧されて接触し、本体118がMD104の(背面などの)他方の面に(ハウジング接触部120、またはハウジング110のMD104から遠い側の端部の外側リング126を介して)加圧されて接触して、MA102がMD104に加圧されて取り付けられる。ベース106および本体118は、ベース106および本体118がMD104に接触してMA102が正常動作時に脱落したり動いたりするのを防ぐように、多くの異なる方法で互いに結合することができる。そのような加圧された接触は、取り外し可能に取り付けられていると呼ぶことができる、MD104への結合の一形態でありうる。クリップ、磁石、および他のそのような方法は取り外し可能に取り付け可能であり、一方で、ネジ留めによる結合はより永続的でありえて、取り外し可能に取り付けられているとはあまり考えられない。MA102はMD104の両面に接している必要はなく、(例えば、接着剤、磁石、またはMD104の一方の面へ取り外し可能に取り付ける他の方法を使って)片面だけで接触することもできる。
好ましくは、ベース106および本体118はいずれも、現在位置および位置合わせ目標位置にある際にMD104の前面または背面に略平行でありうる。しかし、恐らく、本体118および/または本体ハウジング110は、(ハウジング110の開口部122がバックカメラに平行となるように)MD104の背面に略平行でカメラレンズと略垂直である必要がある。そのような状況では、ベース接触部116は、ベース106は平行でないとしても、MD104の前面に略平行でありえる(これにより、MD104へ加圧されて緊密に接触、結合することが可能となる)。これは、ヒンジ式コネクタ114、およびヒンジ式コネクタ114がベース106とベース接触部116の間に作り出すヒンジによる結合の設計の一部でありえる。ベース接触部116の上面(MD104と接触することになる表面)およびMD104のタッチ式画面はタッチ感応型とすることができて、その結果、ベース接触部116が触れたことをMD104は検知できる。概して、ベース接触部116はMA102がほぼ位置合わせ目標位置にある場合にMAを案内する要素、すなわちMD104の画面(タッチパネル)と検出可能な接触をするMA102の要素の例であり、ベース接触部116は画面上の位置合わせガイドと照合されて、MA102が配置されるべき大まかな場所の初期案内をユーザへ提供することができる。他の初期案内もありうるがそのような方法の方が、本明細書でさらに説明されるように、一般的な案内だけよりも特定のMD104に対してより正確になりうるので、好ましいことがある。MA102のMD104への取付けの好ましいおおよその配置は、図1Aで見ることができる。
(ネジ、ブラケット、および同種のものなどによる)より永続的な取付けは可能であるが、本明細書で説明されるように、そのような取付けは位置合わせ目標位置へ到達するための調整値を決定する複雑さを低減するとしても、ユーザ体験的に最適ではない可能性がある(例えば、MA102をMD104のそれぞれに対して調整する必要がある)。
もちろん、ヒンジ式コネクタ114およびヒンジ式取付け部108、そしてさらに言えば、ベース106および本体118の機械的な細部は、位置合わせ目標位置にある場合にMD104との緊密な結合ができるように調整することができることを理解されたい。
本体118
本体118は、部品112、ハウジング接触部またはベゼル120、およびハウジング開口部122をさらに含みうるアクセサリハウジング(ハウジング)110をさらに含みうる。
ハウジング110は、色較正器、(プロセッサに組み込まれている、またはプロセッサとは別になっている)ブルートゥーストランシーバ、光源板、ディフューザ、水分センサ、レンズ、1つまたは複数の光源と光に対して特異的な開口部およびディフューザ、較正リング、プロセッサ、記憶装置、バッテリ、ならびに同種のものなどの、MA102のいくつかの構成要素を含むことができて、ハウジング110はハウジング開口部122を形成することができる。
ハウジング開口部122は、ベゼル120によって画定される円筒形とすることができる。実際には、ベゼル120はハウジング開口部122を少し狭めることがあるが、ベゼル120は薄くすることができると考えると、影響は小さくすることができる(例えば、ベゼル120は充分に細いため、MA102がカメラの上にどんなに不適切に置かれれていても、カメラがベゼル120だけを「見る」ことや撮影することはないので、ハローはそれでも存在する)。位置合わせ目標位置にある場合に、ハウジング110は、MD104およびベース接触部116から最も遠いハウジング110の端部にある開口穴以外を通って光がハウジング開口部122に入ることがないように、かつ、光がハウジング開口部122以外を通ってMD104のバックカメラに達することがないように、MD104へ取り付けることができる。MD104のカメラで撮影されたそのような画像は最高の品質でありうるので、部品112を使用してそのような画像を増強することができる。例えば、400aおよび400bの画像は、ハウジング110内に30倍拡大レンズを有する皮膚分析装置を用いて撮影された。そのようなレンズは、(紫外線などの)撮像には寄与するが拡大には寄与しない他の構成要素を皮膚分析装置が持つように、完全に取り外すこともできる。そのような場合、画像は400aおよび400bのように拡大はされず、位置合わせに異なる手法を適用することができるが、底面手法およびハロー手法を単独または組み合わせてなおも使用することができる。
ハウジング110は、MA102が位置合わせ目標位置にある、または位置合わせ目標位置に近い場合に、ハウジングの(ハウジング110に応じて円筒形または円環でありうる)底面124がMD104と接触してMD104のカメラにより撮影された画像で少なくとも部分的に見えるような大きさと形状にすることができる。もちろん、ハウジングの底面124は、卵形、正方形、不規則形状などの他の形状でもよい。加えて、底面124は、現在位置を撮影するカメラの視野に対して完全に範囲外にあってもよい。これは、異なる「」が使用されることを意味しうる。例えば、底面は視野の範囲内にあるが、円形ではない場合、開口部の中心を判定するのに他の画像処理および幾何学的ソリューションがありうる。底面が視野の範囲外にある場合は、ハロー412を使用することができる。最終的には、重要となりうるのは、単独で動作するカメラの像の中心が開口部を介して入ってくる像の中心とぴったり一致することである。
ハウジング110は、皮膚分析が行われる際に被験者と実質的に接触する可能性があり、ユーザにとって快適な素材で作ることのできるハウジング接触部120をさらに含みうる。
方法200
方法200は、MA102が位置合わせ目標位置にあるように、MD104上でMA102を位置合わせする方法である。方法200の一部、またはすべては、例えば最初にMA102を調整する際に、あるいは、MA102が動いて位置合わせ目標位置からずれてしまった場合にMA102を調整する際に、反復して行うことができる。
方法200の一部(調整を行う、つまり、調整メッセージに従ってMA102を物理的に動かす、など)は、ユーザにより行うことができる。
方法200は、システム100の様々な要素を単独で、または組み合わせることで実現することができる。方法100の一部は、(方法200の一部として、特定の順序で描かれていたとしても)別々に、一緒に、および様々な順序で実現する、または行うことができる。方法200の様々な部分は、画像400aおよび400bを参照して、本明細書でさらに記載されるように、スクリーンショット308a~308d内に表現されていることがある。
方法200は202で始まり、MA102が(ユーザなどにより)MD104へ取り付けられる、または(例えばMD104の突起により)位置合わせ目標位置から動かされる。取付けは、ユーザがMA102をカメラの上に大まかに配置することで始まりうる。それゆえ、システム100は最初の現在位置を観察することができる。そのような位置が現在位置であり、また未知の位置(概して、位置合わせ目標位置にあるとまだ判定されていない位置、または正しく位置合わせされていない位置)でもある。
システム100は、MA102を取り付ける、または再度位置合わせする必要があると認識することができる。例えば、ユーザはMA102に関連するアプリを開くことができる。そのような場合、図3のGUI308aなどのアプリ画面がMA102の取り付けを支援するためにユーザに示されることがある。GUI308aは、位置合わせインジケータまたは位置合わせガイド302、および初期取付けメッセージ304を含みうる。
位置合わせガイド302は、ベースコネクタ116(および、特にその上面、タッチ感応面)に一致するような形状で、GUI308a上に配置することができて、その結果、ベース接触部116が位置合わせインジケータ302を覆っていると、MA102が取り付けられた際に、MA102の現在位置が位置合わせ目標位置に多少近くなる。それゆえ、位置合わせガイド302は位置合わせ目標位置を実現するためのMA102の適切な位置決めの大まかな案内として機能することができる(それゆえ、ユーザはカメラをMA102の一部分で覆ってベースコネクタ106などの第2部分を位置合わせガイド302に合わせるよう努力しうる)。さらに、位置合わせガイドは、本明細書でさらに説明されるように、位置合わせ目標位置を実際に決定する一次システムに対して二次的でありうる、初期案内または大まかな案内であると考えることができる。位置合わせガイド302はアプリ内で規定することができて、MD104のそれぞれに対して変わることがある。もちろん、アプリのGUI308aを特定のMD104に対して(ならびに、MD104の1つまたは複数のカメラの形状、大きさ、および位置、ならびにMD104のケースの特性さえも)調整するにはいくらかの時間がかかることがあるが、MA102に対して異なるフォームファクタを設計するよりも簡単でありうる。
初期取付けメッセージ304は、ユーザに位置合わせガイド302を使ってクリップを位置合わせするように簡単に伝えることができて、他のメッセージは、MA102を効率的に位置合わせ目標位置へ持って行くようにユーザに案内することを目的としている。
204において、方法200は、MA102の現在位置画像を取得し続ける。これは、例えばアプリが画面308a上でベース接触部116の存在を検出するのに応答して、アプリによって誘発されることがある。現在位置画像は、バックカメラなどのMD104のカメラによって撮影することができる。カメラは実際にはビデオモードで動作していてもよく、位置合わせの計算は、毎秒30枚の画像のレートで、ビデオストリーム内の画像に対して行われてもよい。
206において、現在位置画像は、アプリの画面またはGUI上に表示されうるフィードバックを迅速に与えるために、送信される。
208において、方法200は、現在位置が位置合わせ目標位置であるかを判定し続ける。そうではない場合は、212において現在位置画像が処理されて、MD104に対する位置合わせ目標位置へMA102を動かすのに必要となる1つまたは複数の調整値が決定される。ステップ208および212は別々に示されているが、略同時に行われてもよい。208の結果は、例えば位置合わせされているかどうかを示す、成功メッセージまたは失敗メッセージとすることができる。調整値が計算されると、そのような調整値を、例えば失敗メッセージに加えることができる。
現在位置画像を処理して現在位置が位置合わせ目標位置であるかどうかを判定することは、例えば画像を撮影しているMD104のカメラの能力、(解像度、ビデオであるかどうか、フレームレート、視野、照明)、MA102およびハウジング110の特徴(例えば、MA102が位置合わせ目標位置にある場合にMA102のどの特徴が現在位置画像に入ることになるか(「位置合わせ目標位置に存在する特徴」))、および、現在位置が位置合わせ目標位置であるかを判定するのにどの位置合わせ目標位置に存在する特徴が使用できるのか(「位置合わせ目標位置を案内する特徴)、に基づいて変わりうる。また、処理により、画像400a内の402のような位置ずれを示す、予期しない、および/または、望ましくない視覚的特徴(「視覚的位置ずれインジケータ」)の存在を即座に検出することもできる。処理により402が何であるかを最終的に判定できない(つまり、処理によって402がハウジング110の一部であると判定できない)場合でも、処理によって(おそらくマクロ処理であっても)、402が存在すること、および402は視覚的位置ずれインジケータであると判定することができる。視覚的位置ずれインジケータが検出された場合、処理を終了して、視覚的位置ずれインジケータの場所に基づいて調整値を計算することができる(例えば、視覚的位置ずれインジケータが現在位置画像の右下隅にある場合は、調整は、通常は視覚的位置ずれインジケータを現在位置画像から取り除くために、MA102を右側下方向へ動かす)。
位置合わせ目標位置に存在する特徴、位置合わせ目標位置を案内する特徴、および視覚的位置ずれインジケータはすべて、MA102とMD104の任意の特定の組み合わせに対して、予めわかっていることがある(そのような組み合わせは個体である、あるいはMAとMDの種類に基づいていることがあり、異なるMDが異なるMAよりも大きな変化を特徴または視覚的位置ずれインジケータへ引き起こす可能性は低い)。例えば、サンプル画像は特定の種類のMA102が位置合わせ目標位置にある場合に撮影されることがあり、この例は画像400bであり、底面122からの4つの円弧部分が見えていて、ハウジング開口部を通した光景が(406、410、412にあるように)見えており、画像400の隅部には4つの円弧部分の外側の小さな部分だけが含まれている。それゆえ、効率の向上につながる場合は、人工知能(または機械学習など)を使用して、位置合わせを判定することができる。AIエンジンは、特定のMA102、特定のMD104、MA102とMD104の組み合わせ、または他の訓練セットに対する位置合わせ目標位置の画像の組に基づいて訓練することができる。そのような場合は、AIエンジンはアプリの一部とする、あるいはすべてのアプリユーザへ分散することができて、サーバ上に実装することができて、(ユーザはアプリを使用中に待ち時間を望まないと仮定すると、処理はMD104上で行われる必要があるかもしれないので)場合によってはすべてのアプリユーザへ分散することができる。図1A、図1B、図4A、図4Bに示される実施形態では、カメラの視野内に少なくとも部分的に見える円形の下面がある。それゆえ、下面からの円弧と、ハロー410が存在する。これらを位置合わせ位置を案内する特徴とすることができる。
通常は、位置合わせ目標位置に存在する特徴、および位置合わせ目標位置を案内する特徴のすべてはMA102の一方の面にあって、MD104のシングルカメラによって処理することができるが、これは必須ではなく、多数のカメラ(MD104の他の面にあるものでも)を使用することができる。その上、ベース接触部116が位置合わせインジケータ302からある程度離れた画面に触ったかを判定するなどの一部の処理は、現在位置画像に対して行われないことがある。そのような場合、自身の画面へのタッチの場所を伝えるMD102の能力を、現在位置画像の不必要な処理を回避するために活用することができる。
処理はさらに、位置合わせ処理(「現在位置は位置合わせ目標位置であるか」)および調整値計算(現在位置から位置合わせ目標位置まで動かすには、MA102の場所にどんな変更を行う必要があるか」)を含むと考えることができる。位置合わせ処理および調整値計算はいずれも、本明細書に記載されるマクロ処理とマイクロ処理のうちの1つまたは複数を含みうる。
位置合わせ処理はさらに、マクロ位置合わせ処理(典型的には、マクロ位置ずれインジケータ-明らかなもの、または、位置ずれを示し典型的には少ない処理しか必要としない、画像内の要素またはパターン、不適切な照明、および同種のものを含みうる画像のマクロ要素を検出する)と、マイクロ処理(典型的には、マイクロ位置ずれインジケータ-微妙なもの、または、位置ずれを示し典型的にはより多くの処理を必要とする画像のマイクロ要素を特定または検出し、位置合わせ目標位置を案内する特徴を見つけること、および正しい場所および/または方向にいるかを計算することを含みうる)に分解することができる。マクロかマイクロかは、システム100およびユーザ体験に適合するように調整することができる。システム100の制約(処理能力、メモリ、および同種のものなど)、およびユーザは位置合わせに時間がかかりすぎるのを望まないことを考慮すると、位置合わせ目標位置を実現するのに必要とされるよりも多くの計算を行うのは好ましくない。そのため、マクロ位置合わせ処理は概してマイクロ処理の前に行われることがあり、マクロ位置合わせによりマクロ位置ずれが示される場合は、マイクロ位置合わせ処理はまったく行われないことがある。
同様に、調整値の計算はさらに、(位置合わせ目標位置へ動かすためのMA102の位置に対するマクロな、または、巨視的な(gross)変化を特定する、または計算するための)マクロ調整計算と(位置合わせ目標位置へ動かすためのMA102の位置に対する微小な(マイクロ)、または、より細かな変化を特定する、または計算するための)マイクロ調整計算に分解することができる。マクロかマイクロかは、システム100およびユーザ体験に適合するように調整することができる。位置合わせ処理と同様の検討により、位置合わせ目標位置を実現するのに必要とされるよりも多くの計算を行うのは好ましくないため、マクロ位置合わせ処理は概してマイクロ処理の前に行われることがあり、マクロ位置合わせにより位置ずれが示される場合は、マイクロ位置合わせ処理は行われない。
一実施形態では、図1A、図1B、および図5に示されるように、ハウジング110は円状の形をした下面124を有する。位置合わせ目標位置にある場合は、ハウジング開口部の円の中心は現在位置画像を撮影しているMD104のカメラの視野の中心(カメラ中心の十字線608により示される)にある、または近接していることがあり、下面124の大部分は現在位置画像内に入っていて、かつ現在位置画像内で対称的になっていることがあり、ハウジング110の下面124以外の部分はわずかに、またはまったく現在画像位置に入っていないことがある。このような例では、位置合わせ目標位置に存在する特徴は下面124およびハウジング開口部122の中心を含むことがあり、一方で位置合わせ目標位置を案内する特徴は同じ要素を含むことがあり、ハウジング110の他の部分、または潜在的には位置合わせ目標位置に存在する特徴以外のいかなるもの(「画像内の位置合わせされていない部分」、すなわちマクロ位置ずれインジケータと呼ばれる、現在位置画像に入っているべきではないもの、またはパターン)は明確に除外されることがある。本明細書でより詳細に記載されるように、ハウジング開口部122の中心がカメラの視野の略中心にあり、ハウジング124の下面が視野内にあって視野内で対称的になっている場合、MA102は位置合わせ目標位置にある可能性がある。もちろん、このことを自動的に判定する方法は存在しない可能性があるので、ハウジング開口部122の中心の判定が必要になることがある。これについては本明細書でさらに記載される。
方法200を続けると、208においてMA102が位置合わせ目標位置にない場合は、212において調整が決定される。本明細書に記載されるように、調整は並進、回転、および同種のもののうちの1つまたは複数でありえる。調整は、マクロ調整またはマイクロ調整とすることができる。調整はマクロ処理またはマイクロ処理に基づくことができて、方法200は(例えばマクロ処理のみが行われる場合、バッテリ寿命、処理能力、メモリ、などを節約するために)マクロ調整値のみを知りうる。調整は定性的(「MAを上へ動かす」、「MAを少し上へ動かす」、「MAを反時計周りに回転させる」、「時計周りに回転させて少し下に滑らせる」)とすることができる、または定量的(「MAを0.51センチメートル(0.2インチ)下へ動かす」、「時計回りに20度回転する」)とすることができる。調整はMA102を位置合わせ目標位置へ持って行くためであるが、調整は実施可能である必要もある。そのため、調整を、調整値の決定だけでなく、重要なことに、どんな調整値を(および、どのように)伝えるのかの決定は、どのように調整が実行されるかに依存する。例えば、ユーザ(人)が調整を実施する場合、好まれるのは定量的な調整であり、これを簡単な方法、たとえば大きな矢印、すなわち調整インジケータ504で、場合によっては調整メッセージ506を伴って、場合によっては動作ボタン508(ユーザがMA102を使用し続けて例えば皮膚分析を実行するために押し続けることができるが、位置合わせが実現されたらアプリはMA102の使用へと直接移行しうる)を伴って伝えることができる。そのような矢印は回転などを指し示すこともできる。調整インジケータ504の大きさにより、所望の調整の程度または大きさを示すこともできる(つまり、小さな矢印は特定の方向の小さな動きを示す)。コンピュータシステムが調整を実行している、または実施している場合、定量的な調整はより有用となりうる。また、調整の決定は、調整がどのように実行されてMA102を位置合わせ目標位置へ持っていくのに何が最も効果的かの理解と共に行うことができて、その結果、人が調整を実行する場合、調整はマクロとなる、または少なくとも(より大きな処理能力、バッテリ、およびメモリが必要となりうる)厳密な定量的調整となるほどはきめ細かくないことがあり、これは人が調整を実行する助けにはならない。
いずれにしても、212において1つまたは複数の調整値が決定される。そして、方法200は調整値を伝え続ける。調整は、どのようにMA102を位置合わせ目標位置へ動かすかをユーザへ知らせることのできる任意の種類の(視覚的、聴覚的、振動による、などの)メッセージを用いて伝えることができる。例えば、調整インジケータは、画面上に表示されうる調整値のグラフィック表現とすることができる。
方法200に戻ると、208において、208における現在位置が位置合わせ目標位置である場合、210において成功を伝えることができて、方法200を終了することができて、この時点でMA102を使ってその機能を実行可能であり、重要なことに、任意の共同機能をさらに実行することができる。現在位置は位置合わせ目標位置でありうるとしても、位置合わせ目標位置はいくらかの許容範囲、または許容可能な偏差を持っていることがあり、その結果、完全な位置合わせは実現されない。そのような場合、皮膚分析(または、毛髪分析や同種のものなどの他の機能)のために撮影された画像は固有の欠陥を持っていることがある。これらは、そのような機能を実行する際(明確化のため、これは方法200が終了した後であることに留意する)に、例えばシャープ化、色収差、および、ゆがみを介した画像の後処理で補正することが可能である。この後処理をどのように実行するべきかを知るため、方法200は参照画像のライブラリを参照して、現在の「略位置合わせ目標位置」における測定位置ずれに最も近い「小さな位置ずれ」を有する参照画像を選択することができる。そのため、現在の位置合わせ目標位置が実際には「.003”」だけ「高すぎる」場合、「.003”」だけ「高すぎる」参照画像からフィルタを後処理において適用することができる。
もちろん、ライブラリはすべての取り得る配列をカバーするために大きなものとすることができるが、価値を加える必要はない。例えば、参照画像のライブラリは、次のようにして開発することができる。
(a)(何枚でも可能であるが)以下の位置ずれなどの、多数の起こりうる位置ずれにおける格子の画像を撮影する
(i)MA102が「.001”」を単位として「.001”」だけ高すぎる、から「.01”」だけ高すぎる、までの、高すぎる、低すぎる、左過ぎる、右過ぎる(および、もしかすると高い/左、高い/右、低い/左、低い/右などの組み合わせ)
(ii)MAが.5度の単位で、.5度から5度回転してずれている
(b)画像のそれぞれに対して、格子は直線を有するべきであるとの理解で、フィルタ処理をして線を直線に戻し、このフィルタ手法を保存する。
成功は、MA102がいまでは位置合わせされていることをユーザへ知らせることのできる任意の種類の(視覚的、聴覚的、振動による、などの)メッセージを用いて伝えることができる。このメッセージはさらに、MA102が使用できる状態であると知らせることもできる。成功を伝えることの一例は図5Bで見ることができて、位置合わせ目標位置インジケータ510用の塗りつぶした円が上側円弧512aおよび下側円弧512bを囲むように示されている。そのような場合、塗りつぶした円は位置合わせインジケータであり、円弧はハウジング110の底面122の一部分の場所を示す。図5Aと図5Bの比較でわかるように、GUI308b上の上側円弧502aと下側円弧502bはGUI308c上の上側円弧512aと下側円弧512bよりも幅が広い。これは、MA102が位置合わせされておらず(図5A)、その後に位置合わせされ(図5B)、そのため円弧412および512は画面上で位置的に静止したままとなりうるが、現在位置が位置合わせ目標位置にどれだけ近いか(つまり、位置合わせ目標位置に到達するにはどれだけ多くの移動が必要になるか)を示すために円弧は(例えば色や濃さが)変わりうることを示している。
210の後は、方法200は再始動を特に期待することなく、終了することができる。214の後は、方法200は、例えば調整が行われた後に、再始動を期待することができる。実際には、これは、アプリは現在位置画像の取得をもっと迅速に、例えばほとんどリアルタイムで、タイマーで、または何らかの周期で始動させる準備ができていて、210の後はより低い頻度で画像撮影(異なる頻度での画像撮影)が行われることがある、あるいは、MA102の機能が位置ずれを示していない限りは更なる画像撮影が行われないことがある、ということを意味しうる。
これより、本明細書の図のいくつかで描かれている例に関する更なる詳細を提供する。図中で描かれているMA102は、円状の形状をした下面124を持つハウジング110を有し、この下面は現在位置画像において、ハロー412以外でほぼ唯一の特徴のはずで、被写体410(MA102が位置合わせ目標位置にある場合)およびその中心(ハウジング開口部中心)は、位置合わせ目標位置において、カメラの視野の中心(視野中心)に配置される。これは、MA102はカメラを活用する皮膚分析装置であり、それゆえ、実質的にカメラの中心のすぐ上に配置される必要があるからである。
実際には、ユーザがベース106を本体118から広げて、ヒンジ式取付け部108の近くで両方に圧力を加えることで、MA102をMD104へ取り付ける。そしてユーザは画面308aを見て、最大限の努力をして初期取付けメッセージ304に指示されるように位置合わせガイド302の上にベース接触部116を置く。
そして方法200を進めて、図4Aに示される画像400aをまず撮影する。画像400aは、アルゴリズムが毎秒30フレームで実行され、多数の高性能コンピュータビジョン手法を使用して対称的な形状情報を抽出および確認して、照明の変動を打ち消し、(ハローなどの)一様な視覚的アーティファクトを検出する際に撮影される画像でありえる。
画像400aは、位置合わせ時に存在する特徴の一部でありうる内側部分408と、3つの円弧部分404を含む。
処理はいくつかの方法で行われることがあり、画像400aへ適用して、その後(MA102が400aにおける位置から400bにおける位置へと動かされた後に)400bへ適用することができる。
(a)ハロー処理(マクロ処理)に続いて円弧処理(マイクロ処理)
(i)ハロー検出(マクロ処理)を第1処理ステップとして行うことができる。あらゆるカメラフレームをLAB色空間へ変換することができて、アルゴリズムを使用して、特定の方向(例えば、上から下、右から左、下から上、左から右、右上から左下、右下から左上、左下から右上、および左上から右下)における多数の輝度均一性のパラメータを決定することができる。特定の方向に対して特定の閾値を上回った場合はいつでも、位置合わせを修正して調整し、ハローを取り除く、またはハローに焦点を合わせるのを助けるために(502a/bや504などの)案内情報が画面上に表示される。それゆえ、ハロー処理は、MA102がほぼ位置合わせされているとハロー処理が示すまで、続けられることがある。また、410の内側にあるであろう小さなハローへ焦点を合わせる、小さな中心ハローの検出が用いられることがある。
(ii)円弧検出(マイクロ処理)を次の処理ステップとして行うことができて、ハロー処理を確認することができる。カメラフレーム(画像400aまたは400b)を処理して形状情報を抽出し、照明変動アーティファクトを取り除いた後に、特別に設計されたコンピュータビジョンモデルを使用して、画像の4つのすべての隅における円弧の押し出しを検出することができる。円弧の押し出しは、メモリに2次元点として記憶することができる。そしてそれらの2次元点が、読取用レンズ自体の中心点と直接的な相関関係にある4つの円弧の中心点の平均を計算する、または特定するのに使用される。この中心点は、カメラ視野中心である「完全な」中心点と比較される。そして、案内情報が、算出された点が中心からどの方向にどれだけ離れているかに基づいて、生成される。閾値が満足され、少なくとも2つの円弧がフレーム内で検出された場合は、位置合わせは高品質な肌画像を作り出すのに充分良好で、現在位置は位置合わせ目標位置であるとみなされる(そして、全円状のインジケータ510が表示される)と考えることができる。
(iii)また、円弧の中心をマクロ処理、またはより可能性が高いが、マイクロ処理の一部として使用することができる。円弧は、理想的には現在位置画像の少なくとも2つの隅に確認することができる。現在位置が位置合わせ目標位置であるかどうかの良い目安になりうる、それぞれの円弧の中心の中心を決定することができる。
(iv)400aに対して適用されて、ハロー410は存在しないことがある。そして処理によって調整が推奨されうると判断される。400bに対して適用されて、ハロー処理の後にハロー410は許容されうる。そして円弧が確認され、(例えば、画像におけるx、y座標で)中心を計算するのに使用されて、400bで位置合わせされているか確認した際に、この中心は、(例えば、画像におけるx、y座標で)視野中心に充分に近くなりうる。
(b)((i)または(ii)と同様に)マクロ処理に続いてマイクロ処理
(i)例えばハウジング部分402が画像内に存在する(そのような部分の色と形状に注目することで判定される)ため、あるいは第4円弧部分がないため(開口部中心を少なくとも数学的に算出するにはわずか2つの円弧が必要になりうるが、2つの円弧しかないことで、皮膚分析装置が位置合わせ目標位置にある可能性が低くなったとしても、円弧部分404は3つの隅に存在する、ただし404bが見つからないので右下部分には存在しない)、のいずれかにより、画像400aのマクロ位置合わせ処理により位置ずれが示される。ハウジング部分402が画像408aの右下部分にあると仮定すると、調整はMA102を下方左側へ動かすことになる。したがって、矢印504は下向きとなり、また理想的には少し左向きになる。それに加えて、調整メッセージ506を、「少し下へ動かして下さい」または「下方で少し左へ動かして下さい」と示すことができる。状態インジケータ508は、「位置合わせが確認されました」や同種のものではなく、なおも「位置合わせを確認」と示すことができる。
(ii)マクロ処理は、ハロー処理、すなわち、i)ハロー410を探す、ii)ハロー410を見つける、iii)見つけたハロー410の形状および対称性が位置合わせ位置を示唆することを見出す、iv)中心(ハロー中心)を判定しハロー中心が視野中心に近いかどうかを判断する、のうちの1つまたは複数を実行することで構成されうる。ハロー処理は、ハローが存在してハロー中心が視野中心に近い場合に成功を返送することができる。しかし、400aにはハローは存在せず、これは成功ではないこと(そして、ハロー412がまったくないことを考えるとむしろマクロ位置ずれ)を示し、むしろハロー処理の失敗を示す。このようにハローがない場合は、調整を決定するためにいくらかの更なる処理が必要となりえて、例えば3つの円弧404、またはハウジング部分402を使うことで、類似した「下へ少し動かして下さい」というメッセージがもたらされることがある。ハロー処理は、通常はマクロ処理として、ハロー412が(位置ずれを考慮すると正しい形状となっておらず、多くの場合はあまり鮮明ではないため、円弧404は開口部122の中心を高精度で判定するには信頼性が低いとしても)通常はある程度見えるために効果的でありうるので、もし見えない場合は、位置ずれがある(一方で、円弧がないことは、円弧が視野の範囲外にあるのであれば、位置ずれを意味しないことがある)。このように、画像400aはやや珍しいものである可能性があり、ユーザが通常カメラの上で開口部122を位置合わせする、および/またはベース接触部106を位置合わせガイド302に合わせる場合は、通常はハローが存在する。
(iii)マイクロ処理(マイクロ処理の実際の性質に応じて底面マイクロ処理または円弧検出マイクロ処理でありうる)は、ハウジング110の底面122により画定される円の中心を検出することを含むことがあり、ハロー処理で中心が少なくともほぼ位置合わせされたと確認された後に使用することができる。画像400b内の白い円弧404は、ハウジング110の底面の円弧部分の組からなり、検出されて、幾何学的公式を用いて、これらの円弧により画定される円の中心を計算するのに使用される。これが開口部122の中心である。もちろん、底面122のどの部分が見えるかはMD104によって変わり、また円弧の大きさも、異なるカメラは異なる視野を持ちうるために変動する。これに対処するため、画像400bは、異なる画像サイズに対する処理は調整の必要があるのとは対照的に、すべての画像が大部分で比較可能で処理を一貫して適用可能であるように、クロップされることがある。例えば、一つのカメラが32mmの視野を持ち、別のカメラが28mmの視野を持つ場合、後者のカメラは像をより多く(より広い角度)「見る」ことを意味し、一つ一つは約12%(4/32)だけ小さくなる。クロップすることで視野の差異を正規化し、差異が取り除かれる。加えて、400bではハロー410および被写体部分412が見えるが、これらは画像内にあることが想定されており、かつ位置合わせ目標位置にある場合には中心にあるべき(案内する特徴の可能性を増やし、中心の計算または場所を行う、など)であるため、これらはいずれも適切な位置合わせを示す。ハローはMD104から遠い側のハウジング開口部の端部の形状およびハウジング開口部122の内側表面の色となっているべきなので、ハロー410はマクロ位置合わせに使用することができる。被写体412は背景の一部、すなわち、開口部を通して見える画像内に実際に入っているものでありうるが、フィルタ処理および円弧512へ焦点を合わせることで、照明とレンズおよび開口部を通して見える内容をあまり関係ないようにすることができる。
400aを処理するいかなる手法でも、ユーザはMA102を下方および左側へ動かすことができて、これにより現在画像位置400bが撮影される。そして、マクロ処理により(例えば、本明細書に記載されるハロー処理または他のマクロ処理を使って)MA102が少なくとも位置合わせ目標位置に近いことを示すことができて、更なるマイクロ処理が開始される。
ユーザには示されないことがあるが、図6は、例えばハウジング開口部中心を特定する処理の一部の視覚的表示を示す。視野十字線608が示されている。円弧線は、円弧点604によって画像の各隅に画定される。様々な開口部中心点606が幾何学的公式および円弧線に基づいて、例えば円周および中心の計算と円弧点604を使って計算される。例えば、様々な円弧上の3つの点の組を多数使用して、円に対する一般方程式((x-xc)2+(y-yc)2-r2=0)を用いて円の中心を計算することができる。様々な開口部中心点606(例えば、それらの平均)が十字線608の中心から許容できる距離以内にあれば、現在位置を位置合わせ目標位置とすることができる。
MA102が位置合わせ目標位置にあると確認したので、アプリは方法200の210へと進み、位置合わせ目標位置への到達に成功したことを伝える。これは、GUI308cを用いて、円弧512aおよび512bを囲むように形成された円を示す位置合わせ目標位置インジケータ510と位置合わせが良好であることを示す調整メッセージ506により行うことができる。もちろん、位置合わせについての情報交換を実現することができる多くの方法が存在し、GUI308cの要素はいくつかの例に過ぎず、本明細書に記載されたような他の例も存在する。
ユーザは先に進んで、アプリを使用してMA102の機能を実行することができる。図1Aに示される例では、今度こそMA102を使用して、MD104のカメラを使ってユーザに対して何らかの形態の分析を実行することができる。
図1Aおよび図1Bは装置の描写である。
装置は、開く、および/または曲がり、かつスマートデバイスの上面および底面を把持するいくらかの能力を少なくとも有するクリップまたはラッチを含む。クリップ内部の空間の直径は、多くのスマートフォンのサイズに「適合する」よう設計することができるが、場合によっては異なる直径がスマートデバイスに対して必要になる(例えば、小型、中型、大型、およびタブレットサイズ)。「適合する」とは、装置がスマートデバイスにしっかりと取り付けられて、特に本明細書に記載される測定を可能とし、機能が使用可能となるほど堅くなっていることでありうる。軟らかめのゴム、またはシリコーン材料を装置の内面に配置することができて、これがコンピュータ装置のレンズに接触して、外光を吸収および遮断する。クリップアームの一面にはタッチ感応型のガイド、または何らかの他のマークもしくは(本明細書に記載される)開口部があり、装置の位置合わせを容易にして、測定を可能とし、機能を使用可能にすることができる。
装置は、装置の構成要素のすべてを収容するコンポーネントハウジングをさらに含む。コンポーネントハウジングはクリップと同じ材料で作ることができる(また一体とすることができる)。
コンポーネントハウジングの内部には、本明細書における測定を可能にして機能を使用可能にするのに用いられる様々な構成要素がある。これらの構成要素には、マイクロプロセッサ、無線送受信デバイス、バッテリ、充電ポート、偏光フィルタおよび他の光フィルタ、照明装置、拡大レンズ、紫外線源および測定センサ、ならびに水分センサが含まれうる。そのような構成要素は、PCT/CA2017/050503に記載される構成要素にかなり類似しうる。
図3は、装置がスマートデバイスのカメラレンズと水平および垂直な寸法で位置合わせされるようにユーザが装置を位置決めするのを支援するために、ソフトウェアで表示されるテンプレートを示す。
装置は以下のように動作する。
1)装置をスマートデバイスにクリップで留める。異なる長さのアームが提供されて、異なる大きさのデバイス(例えば、タブレットやスマートフォン)に対応することができる。クリップの円形開口部(案内開口部)をスマートデバイスのレンズと平行に保つため、反対側にはクリップのそちらの側を適切な角度にするのを可能とする棒が用いられることで、円形開口部(案内開口部)をカメラレンズと平行に保つことができる。
2)装置の円形開口部(案内開口部)をスマートデバイスの内蔵カメラと位置合わせする。位置合わせは垂直および水平平面の両方でされる。位置合わせを容易にするため、装置のソフトウェアはスマートデバイスの画面上に装置の外形またはテンプレートを示す。ユーザは装置を位置合わせして、画面上に示されるテンプレート(スクリーンガイド)に一致させる。位置合わせ画面は特定のスマートデバイスに固有であり、位置合わせ画面を設計、修正するのはハードウェア装置全体よりもずっと簡単である。ソフトウェアにより位置合わせを容易にするため、1つまたは複数のタッチ感応型パッドをクリップアームの一方または両方に使用することができる。タッチ感応型パッドにより、ソフトウェアはクリップアームがx平面およびy平面の両方でどのような向きとなっているか、およびどれだけの角度で回転されているかを正確に判定することができる。これにより、タッチ感応型パッドはタッチ式画面と相互作用するので、ソフトウェアはクリップアームがどこに位置しているかがわかる。位置合わせを容易にするため、タッチ感応型パッドの形状は、クリップの端部の大きさおよび形状と一致する。これにより、ユーザは、クリップの端部とスマートデバイスの画面上に示されるテンプレートの位置合わせを容易に行うことができる。スマートデバイスの各モデルは異なる取付け位置を有するので、オンスクリーンガイドは使用されるスマートデバイスのモデルに応じて変わる。ユーザは、クリップをどのようにしてスマートデバイスと位置合わせするかについて、音声および/または視覚的な手がかり(prompt)によって案内される。
3)ソフトウェアにより、焦点ずれの領域、ビネットの量、および画像内に存在する余分な光の量を測定することで、不正確な配置を検出することができる。これは、カメラのレンズを介して、カメラレンズにより撮像された画像を分析することで実現される。シャープネスの不足および色ずれを検出するマシンビジョンアルゴリズムを使用して、レンズの不適切な位置合わせに由来する画像劣化を検出することができる。また、こうしたツールを使用して、タッチ感応型パッドがタッチパネルと接触しない、または何もない場合にユーザがクリップとスマートデバイスのレンズを位置合わせするのを支援することができる。
4)装置は、オン/オフスイッチを押すことでソフトウェアにより作動される、あるいは、皮膚検出システム(水分センサや近接センサなど)を用いて作動される。また、装置は画面に触ることでも作動させることができる。ソフトウェアは、画面への接触がなされたことをタッチ感応型パッドを用いて検出し、クリップの電子装置へ接続する。
5)直線偏光、交差偏光、および偏光していない光を含む、(様々な波長の)1つまたは複数の光が点灯して皮膚を照らす。
6)1つまたは複数のUVセンサにより、皮膚に跳ね返される反射光の量を測定する。
7)ソフトウェアアプリケーションの警告灯または警告メッセージによって、その時点での肌の日焼け止めのレベルが充分であるかどうかをユーザに伝える。他の分析には、肌の水分、しわ、小じわ、毛穴、脂、弾力性、しみ、および汚染度が含まれる。
8)利用データが収集されて、化粧品またはスキンケアの製造会社と共有される。収集されるデータの例としては、限定されないが、消費者の性別、年齢、GPSによる位置、その場所の天候、日焼け止め剤塗布時間、確認回数、保護を上回った回数、使用された日焼け止め製品、消費者からのフィードバックが挙げられる。
9)消費者の肌のタイプに合わせた推奨製品が表示される。
反射光はUV検出回路により測定され、UV検出回路の例はビシェイ社製VEML6075である。これらは、紫外線の強度をデジタルデータへ変換することで動作する。光源紫外線と類似の波長の光に対してピーク感度を有するセンサが選択される。センサの出力電圧により、検出した紫外線の強度が決まる。装置は、まずミラーを用いて(100%の光反射を表す)、そして暗室内(0%の光反射を表す)で、較正される。そして、本明細書に記載される閾値は数人の人の皮膚の例に対して決定される。日焼け止め剤の製造会社は、閾値を彼らが満足するレベルに調整することもできる(例えば、より慎重な設定は、ユーザに再塗布する、あるいは高反射率で屋内に入るように警告する)。
本発明の製品、方法、およびシステムの前述の実施形態のいずれかで他の構成や材料などを使用可能であることは、当業者には明らかであろう。本明細書は本発明の例証であり、当業者は本発明の趣旨および範囲内にある他の実施形態を思いつくであろうことが理解される。本明細書で引用されるすべての文献は、参照により援用される。
上述した本開示の実施形態は、数多くの方法のいずれかで実現することができる。例えば、実施形態はハードウェア、ソフトウェア、またはそれらの組み合わせを使って実現可能である。ソフトウェアで実装される場合、ソフトウェアコードは、単一のコンピュータで、または多数のコンピュータに分散されて提供されるかに関わらず、任意の適切なプロセッサ、またはプロセッサ群で実行することができる。
また、本明細書で概説される様々な方法またはプロセスは、様々なオペレーティングシステムまたはプラットフォームのいずれか一つを用いる1つまたは複数のプロセッサで実行可能なソフトウェアとしてコーディングすることができる。さらに、そのようなソフトウェアは、数多くの適切なプログラミング言語、および/またはプログラミング/スクリプト作成ツールのいずれかを使って記述可能であり、またフレームワークまたは仮想マシン上で実行される実行可能な機械語コードまたは中間コードとしてコンパイルすることができる。
この点において、本明細書で開示される概念は、1つもしくは複数のコンピュータまたは他のプロセッサで実行される際に上述した本開示の様々な実施形態を実現する方法を実行する1つもしくは複数のプログラムを用いてコード化される非一時的な1つ(または多数)のコンピュータ可読媒体(例えば、コンピュータメモリ、1つまたは複数のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体装置の中の回路構成、または他の非一時的で有形のコンピュータ記憶装置媒体)として具体化が可能である。1つまたは複数のコンピュータ可読媒体は、この媒体に記憶される1つまたは複数のプログラムが1つまたは複数の異なるコンピュータもしくは他のプロセッサにロードされて、上述した本開示の様々な態様を実現することができるように、持ち運び可能とすることができる。
「プログラム」または「ソフトウェア」という用語は、本明細書では、コンピュータまたは他のプロセッサをプログラムして上述した本開示の様々な態様を実現するのに用いることができる、任意の種類のコンピュータコード、またはコンピュータ実行可能命令の組を指すのに使用される。さらに、本実施形態の一態様によれば、実行された際に本開示の方法を実行する1つまたは複数のコンピュータプログラムは単一のコンピュータまたはプロセッサ上に存在する必要はなく、多数の異なるコンピュータまたはプロセッサの間にモジュール方式で分散されて本開示の様々な態様を実現可能であることを理解されたい。
コンピュータ実行可能命令は、1つまたは複数のコンピュータもしくは他のデバイスにより実行されるプログラムモジュールなどの多くの形態でありうる。通常、プログラムモジュールは、特定の作業を実行する、あるいは特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、プログラムモジュールの機能は、様々な実施形態で望まれるように統合または分散することができる。
また、データ構造は、任意の適切な形態でコンピュータ可読媒体に記憶することができる。図を簡単にするため、データ構造は、データ構造内の場所に関連するフィールドを有することが示されることがある。そのような関係は、フィールド間の関係を運搬するコンピュータ可読媒体内でフィールド用の記憶領域に場所を割り当てることで同様に実現可能である。しかし、ポインタ、タグ、またはデータ要素間の関係を規定する他の仕組みを用いることを含む任意の適切な仕組みを使って、データ構造の複数のフィールド内の情報の間の関係を規定することができる。
本開示の様々な特徴および態様は、単独で、2つ以上の任意の組み合わせで、または前述した実施形態で具体的に記載されていない様々な構成で使用することができて、それゆえ、適用する場合は前述の説明に記載される、または図面に示される構成要素の詳細および配置に限定されない。例えば、一実施形態で記載された態様は、他の実施形態で記載された態様と任意の方法で結合することができる。
また、本明細書で開示される概念は、例が提供された方法として具体化することができる。方法の一部として行われる動作は、任意の適切な方法で順序付けすることができる。その結果、実施形態は、示されたものと異なる順序で動作が行われるよう構成することができて、これには、例証の実施形態では連続する動作として示されたが、いくつかの動作を同時に実行することが含まれうる。
請求項において「第1」、「第2」、「第3」などの順序を示す用語を使用して請求項の要素を修飾することは、それ自体では請求項の一つの要素の別の要素に対する優先度、先行、もしくは順序、または方法の動作が行われる時間的順序を含まず、単に、特定の名前を有する請求項の一つの要素を同じ名前を持つ別の要素と区別して請求項の複数の要素を区別するためのラベルとして使用される。
また、本明細書で使用される言葉遣いおよび用語は説明を目的としており、制限的とみなされるべきではない。本明細書における「含む(including)」、「含む(comprising)」、「有する(having)」、「含む(containing)」、「含む(involving)」、およびその変形の使用は、その後にリストされる項目およびその均等物、ならびに追加の項目を網羅することが意図されている。
以下に記載される、および/または特許請求されるいくつかの(または異なる)要素は、「連結される」、「通信している」、あるいは「通信するよう構成される」と記載される。この用語は非限定的であることを意図しており、適切な場合は、限定しないが、1つまたは複数の適切なプロトコル、ならびに、常に持続され、定期的に作成される、および/または、必要な場合に作成または開始される通信方式を使った、有線および無線の通信を含むと解釈されることを意図している。
本明細書は、本発明を開示するため、また当業者が本発明を作成および利用できるように、例を利用している。本発明の特許性のある範囲は請求項により規定され、当業者が想到する他の例を含みうる。そのような他の例は、請求項の文字通りの表現と相違がない構造要素を有する場合、または請求項の文字通りの表現とわずかな差異がある均等な構造要素を含む場合は、請求項の範囲内にある。
上述した組立品およびモジュールを必要に応じて互いに結合して、当業者が一つ一つを明確な用語で説明する必要なしにそのような組み合わせの作成、および置換を行う範囲内で、所望の機能および作業を実行できることは理解されうる。当業者が利用可能なあらゆる均等物よりも優れている可能性のある組立品または構成要素は特に存在しない。機能が実行可能である限り、他のものよりも優れた、開示される主題を実践するモードは特に存在しない。開示される主題の極めて重要な態様のすべてが本書で提供されたと考えられる。本発明の範囲は独立請求項によりもたらされる範囲に制限されることが理解され、また、本発明の範囲は、(i)従属請求項、(ii)非限定的な実施形態の詳細説明、(iii)発明の概要、(iv)要約、および/または(v)本書以外で(つまり、出願された、特許手続き中の、および/または特許付与された本願以外で)提供される説明、に制限されないことが理解される。本書では、「含む(includes)」という語句は「含む(comprising)」という単語と同等であることが理解される。前述したことは非限定的な実施形態(例)の概要を示した。説明は特定の非限定的な実施形態(例)に対してなされた。非限定的な実施形態は例として単に例証していると理解される。

Claims (7)

  1. 取り外し可能に取り付け可能な皮膚分析装置を位置合わせする方法であって、前記皮膚分析装置はハウジング開口部を画定するハウジングを含み、前記ハウジング開口部はハウジング開口部中心を含み、前記皮膚分析装置が位置合わせ目標位置にある場合に前記ハウジング開口部は携帯機器のカメラの上に中心に置かれ、前記ハウジングは皮膚分析を実行する皮膚分析コンポーネントをさらに含み、前記方法は、
    前記携帯機器上の現在位置にある前記皮膚分析装置を観察することと、
    前記ハウジング開口部の少なくとも一部を含む現在位置画像を前記カメラで撮影することと、
    前記現在位置画像に対して処理を行って前記現在位置が前記位置合わせ目標位置であるかを判定することと、
    前記処理からのメッセージを伝えることと、
    を含み、
    前記処理はさらに、
    ハロー処理を行うことと、
    前記ハロー処理が成功した場合に、
    底面を使ってマイクロ処理を行い、前記ハロー処理を確認することと、
    を含む、方法。
  2. 位置合わせに左右される携帯機器アクセサリ(携帯機器アクセサリ)を携帯機器上の位置合わせ目標位置に準備する方法であって、
    未知の位置合わせ位置である現在位置にある、前記携帯機器に取り外し可能に取り付けられる前記携帯機器アクセサリを観察することと、
    前記携帯機器のカメラから、前記現在位置にある前記携帯機器アクセサリの少なくとも一部の像を含む現在位置画像を取得することと、
    前記現在位置画像に対して処理を行って前記現在位置が前記位置合わせ目標位置であるかを判定することと、
    前記処理からのメッセージを伝えることと、
    を含み、
    前記処理はさらに、
    ハロー処理を行うことと、
    前記ハロー処理が成功した場合に、
    底面を使ってマイクロ処理を行い、前記ハロー処理を確認することと、
    を含む、方法。
  3. 前記カメラは視野中心をさらに含む視野を有し、前記処理は、
    前記現在位置画像内に前記ハウジング開口部中心を配置することと、
    前記現在位置画像内で前記ハウジング開口部中心が前記視野中心に置かれているかを確認することと、
    前記ハウジング開口部中心が前記視野中心に置かれている場合は成功メッセージを返送し、前記ハウジング開口部中心が前記視野中心に置かれていない場合は失敗メッセージを返送することと、
    をさらに含む、請求項1に記載の方法。
  4. 前記ハウジング開口部は円形底面を有し、前記現在位置画像内の前記ハウジング開口部の一部分は前記円形底面の円弧部分の組を含み、前記配置することは前記円弧部分の組を使って前記ハウジング開口部中心を判定することを含む、請求項3に記載の方法。
  5. 携帯機器に取り外し可能に取り付け可能な皮膚分析装置であって、前記皮膚分析装置はハウジング開口部を画定するハウジングを含み、前記ハウジング開口部はハウジング開口部中心を含み、前記皮膚分析装置が位置合わせ目標位置にある場合に前記ハウジング開口部は前記携帯機器のカメラの上に中心に置かれ、前記ハウジングは皮膚分析を実行する皮膚分析コンポーネントをさらに含む、皮膚分析装置と、
    画面、アプリ、およびカメラをさらに含む前記携帯機器と、を含み、前記携帯機器は、
    前記ハウジング開口部の少なくとも一部を含む現在位置画像を前記カメラで撮影し、
    前記現在位置画像に対して処理を行って前記現在位置が前記位置合わせ目標位置であるかを判定し、
    前記処理からのメッセージを伝える、
    よう構成され、
    前記処理はさらに、
    ハロー処理を行うことと、
    前記ハロー処理が成功した場合に、
    底面を使ってマイクロ処理を行い、前記ハロー処理を確認することと、
    を含む、スキンケア分析システム。
  6. 前記カメラは視野中心をさらに含む視野を有し、前記処理はさらに、
    前記現在位置画像内に前記ハウジング開口部中心を配置することと、
    前記現在位置画像内で前記ハウジング開口部中心が前記視野中心に置かれているかを確認することと、
    前記ハウジング開口部中心が前記視野中心に置かれている場合は成功メッセージを返送し、前記ハウジング開口部中心が前記視野中心に置かれていない場合は失敗メッセージを返送することと、
    を含む、請求項5に記載のシステム。
  7. 前記ハウジング開口部は円形底面を有し、前記現在位置画像内の前記ハウジング開口部の一部分は前記円形底面の円弧部分の組を含み、前記配置することは前記円弧部分の組を使って前記ハウジング開口部中心を判定することを含む、請求項6に記載のシステム。
JP2021548202A 2019-02-19 2020-02-19 携帯機器向け携帯機器アクセサリを使用および位置合わせするためシステムおよび方法 Active JP7333823B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962807553P 2019-02-19 2019-02-19
US62/807,553 2019-02-19
PCT/CA2020/050216 WO2020168428A1 (en) 2019-02-19 2020-02-19 Systems and methods for use and alignment of mobile device accessories for mobile devices

Publications (2)

Publication Number Publication Date
JP2022519909A JP2022519909A (ja) 2022-03-25
JP7333823B2 true JP7333823B2 (ja) 2023-08-25

Family

ID=72143343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548202A Active JP7333823B2 (ja) 2019-02-19 2020-02-19 携帯機器向け携帯機器アクセサリを使用および位置合わせするためシステムおよび方法

Country Status (5)

Country Link
US (1) US12211220B2 (ja)
EP (1) EP3928157A4 (ja)
JP (1) JP7333823B2 (ja)
SG (1) SG11202109006VA (ja)
WO (1) WO2020168428A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514161B2 (en) * 2020-09-11 2022-11-29 Mcafee, Llc Method and apparatus for detecting malware via analysis of a screen capture
EP4284228A1 (en) * 2021-01-28 2023-12-06 Johnson & Johnson Consumer Inc. Alignment of a clip-on medical device to a smart device camera
US20230115395A1 (en) 2021-09-09 2023-04-13 Sephora USA, Inc. Skin Tone Scanning and Cosmetics in Three-Dimensional Skin Tone Color Space
KR20230083939A (ko) * 2021-12-03 2023-06-12 삼성전자주식회사 플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법
WO2024077379A1 (en) * 2022-10-11 2024-04-18 Fitskin Inc. Systems and methods for improved skin tone rendering in digital images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160286A (ja) 2009-01-07 2010-07-22 Softbank Mobile Corp 携帯電話用拡張機器
JP2014131121A (ja) 2012-12-28 2014-07-10 Hitachi Maxell Ltd 肌撮影システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023642A1 (en) 2010-07-30 2012-02-02 Holland Denise D Garment for Retaining Long Hair Including Braids or Dreadlocks
US8279544B1 (en) * 2011-03-18 2012-10-02 Premier Systems USA, Inc Selectively attachable and removable lenses for communication devices
US10008013B2 (en) * 2014-10-01 2018-06-26 Ora Inc. Multidimensional halo-based visualization system
WO2016204417A1 (ko) * 2015-06-15 2016-12-22 서울바이오시스 주식회사 하이퍼스펙트럴 이미지 측정장치 및 그 캘리브레이션 방법, 피부 진단용 촬영 모듈 및 장치, 피부 진단 방법 및 피부 이미지 처리 방법
US10405752B2 (en) * 2015-06-23 2019-09-10 Metaoptima Technology Inc. Apparatus for imaging skin
EP4235690B1 (en) * 2016-04-22 2025-04-02 Fitskin Inc. Systems for skin analysis using electronic devices
US10031312B2 (en) 2016-08-10 2018-07-24 Apple Inc. Adapting camera systems to accessory lenses
US10867422B2 (en) * 2017-06-12 2020-12-15 Adobe Inc. Facilitating preservation of regions of interest in automatic image cropping

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160286A (ja) 2009-01-07 2010-07-22 Softbank Mobile Corp 携帯電話用拡張機器
JP2014131121A (ja) 2012-12-28 2014-07-10 Hitachi Maxell Ltd 肌撮影システム

Also Published As

Publication number Publication date
JP2022519909A (ja) 2022-03-25
US20220138972A1 (en) 2022-05-05
SG11202109006VA (en) 2021-09-29
US12211220B2 (en) 2025-01-28
WO2020168428A1 (en) 2020-08-27
EP3928157A4 (en) 2022-11-02
EP3928157A1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
JP7333823B2 (ja) 携帯機器向け携帯機器アクセサリを使用および位置合わせするためシステムおよび方法
US10699099B2 (en) System and method of capturing and producing biometric-matching quality fingerprints and other types of dactylographic images with a mobile device
US10533925B2 (en) Fixtureless lensmeter and methods of operating same
KR102085766B1 (ko) 촬영 장치의 자동 초점 조절 방법 및 장치
JP6027286B2 (ja) 撮像モジュールの製造方法及び撮像モジュールの製造装置
US8988519B2 (en) Automatic magnification of data on display screen based on eye characteristics of user
US20180140182A1 (en) Apparatus, system and method of determining one or more optical parameters of a lens
JP6490242B2 (ja) 測定方法、および端末
US11580639B2 (en) Electronic device for measuring skin condition of user and method for operating same
JP6858352B2 (ja) 画像投影装置
JP6984071B6 (ja) 器具なしレンズメータシステム
WO2017072009A1 (en) Hair diameter measurement
CA2876412C (en) Device and method for eye tracking data trigger arrangement
CN107837070A (zh) 具有大拍摄面积的便携式皮肤检测仪
CN111354378A (zh) 语音端点检测方法、装置、设备及计算机存储介质
TW201503687A (zh) 拍照控制系統及方法
CN108801161A (zh) 测量系统、方法及装置、可读存储介质
KR20130084413A (ko) 지문 인식 장치 및 방법
TW201617786A (zh) 自動控制電子裝置使用時間的系統及方法
US10681280B2 (en) Camera component location indicator on display
EP4447426A1 (en) Grip gesture recognition method and apparatus, device, storage medium, and chip

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230815

R150 Certificate of patent or registration of utility model

Ref document number: 7333823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150