KR20230066084A - 사용자 익숙도 기반 이미지 분류 수행의 종료 - Google Patents

Abstract

컴퓨팅 시스템은 이미지 분류를 수행하고, 이미지 분류를 수행하는 동안 객체 클래스의 제1 객체가 디스플레이된 이미지 내에 존재하는지 결정하고, 디스플레이된 이미지 내에서 프롬프트를 제시하고, 프롬프트에 대한 응답으로 사용자로부터 제1 객체의 선택을 수신하고, 제1 객체의 선택을 수신하는 것에 응답하여 제1 객체에 대한 기능을 수행하고, 프롬프트에 대한 응답으로 제1 객체를 선택하는 것에 기초하여 사용자가 그 기능에 익숙한지 결정하고, 사용자가 그 기능에 익숙하다는 결정에 기초하여 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하고, 그리고 사용자가 디스플레이된 이미지 내의 객체 클래스의 제2 객체를 선택하는 것에 응답하여 제2 객체에 대한 기능을 수행한다.

Description

사용자 익숙도 기반 이미지 분류 수행의 종료

이 설명은 이미지들에서 기능들을 수행하는 것과 관련이 있다.

광학 문자 인식 또는 스캐닝과 같은 다양한 기능들을 이미지 파일들에서 수행할 수 있다. 수행할 수 있는 기능들을 결정하기 위해 파일들에 대한 이미지 분류를 지속적으로 수행하면 컴퓨팅 리소스들이 소모될 수 있다.

일 예에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체는 저장된 명령어들을 포함한다. 적어도 하나의 프로세서에 의해 실행될 때, 명령어들은 컴퓨팅 시스템으로 하여금 디스플레이된 이미지 내에서 이미지 분류를 수행하게 하고, 이미지 분류를 수행하는 동안 객체 클래스의 제1 객체가 디스플레이된 이미지 내에 존재하는지 결정하게 하고, 프롬프트를 생성하게 하고, 사용자로부터 제1 객체의 선택을 수신하게 하고, 제1 객체의 선택을 수신하는 것에 응답하여, 제1 객체에 대한 기능을 수행하게 하고, 제1 객체의 선택에 기초하여, 사용자가 그 기능에 익숙한지 결정하게 하고, 사용자가 그 기능에 익숙하다는 결정에 기초하여, 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하고, 그리고 디스플레이된 이미지 내에서 객체 클래스의 제2 객체의 선택을 수신하는 것에 응답하여, 제2 객체에 대한 기능을 수행하게 하도록 구성될 수 있다.

일 예에 따르면, 컴퓨팅 시스템은 적어도 하나의 프로세서, 및 저장된 명령어들을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 적어도 하나의 프로세서에 의해 실행될 때, 명령어들은 컴퓨팅 시스템으로 하여금 디스플레이된 이미지 내에서 이미지 분류를 수행하게 하고, 이미지 분류를 수행하는 동안 객체 클래스의 제1 객체가 디스플레이된 이미지 내에 존재하는지 결정하게 하고, 프롬프트를 생성하게 하고, 사용자로부터 제1 객체의 선택을 수신하게 하고, 제1 객체의 선택을 수신하는 것에 응답하여, 제1 객체에 대한 기능을 수행하게 하고, 제1 객체의 선택에 기초하여, 사용자가 그 기능에 익숙한지 결정하게 하고, 사용자가 그 기능에 익숙하다는 결정에 기초하여, 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하고, 그리고 디스플레이된 이미지 내에서 객체 클래스의 제2 객체의 선택을 수신하는 것에 응답하여, 제2 객체에 대한 기능을 수행하게 하도록 구성될 수 있다.

A는 컴퓨팅 시스템에 의해, 디스플레이된 이미지 내에서 이미지 분류를 수행하는 단계, 이미지 분류를 수행하는 동안 객체 클래스의 제1 객체가 디스플레이된 이미지 내에 존재하는지 결정하는 단계; 프롬프트를 생성하는 단계; 사용자로부터 제1 객체의 선택을 수신하는 단계; 제1 객체의 선택을 수신하는 것에 응답하여, 제1 객체에 대한 기능을 수행하는 단계; 제1 객체의 선택에 기초하여, 사용자가 그 기능에 익숙한지 결정하는 단계; 사용자가 그 기능에 익숙하다는 결정에 기초하여, 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 단계; 및 디스플레이된 이미지 내에서 객체 클래스의 제2 객체의 선택을 수신하는 것에 응답하여, 제2 객체에 대한 기능을 수행하는 단계를 포함할 수 있다.

하나 이상의 구현예들에 대한 세부 사항은 첨부된 도면과 아래 설명에 설명되어 있다. 다른 특징들은 설명, 도면 및 청구범위로부터 명백할 것이다.

도 1a는 디스플레이 내에 제1 객체를 제시하는 전자 디바이스를 도시한다.
도 1b는 제1 객체와 연관된 프롬프트를 제시하는 전자 디바이스를 도시한다.
도 1c는 사용자가 제1 객체를 선택하는 전자 디바이스를 도시한다.
도 1d는 제1 객체에 대해 기능이 수행된 후의 전자 디바이스를 도시한다.
도 1e는 디스플레이 내에 제2 객체를 제시하는 전자 디바이스를 도시한다.
도 1f는 사용자가 제2 객체를 선택하는 전자 디바이스를 도시한다.
도 1g는 제2 객체에 대해 기능이 수행된 후의 전자 디바이스를 도시한다.
도 2는 전자 디바이스의 블록도이다.
도 3은 전자 디바이스에 의해 수행되는 방법의 흐름도이다.
도 4는 전자 디바이스에 의해 수행되는 방법의 흐름도이다.
도 5는 여기에 기술된 기법들을 구현하는데 사용될 수 있는 컴퓨터 디바이스 및 모바일 컴퓨터 디바이스의 예를 도시한다.
유사한 참조 번호들은 유사한 요소들을 가리킨다.

스마트폰과 같은, 전자 디바이스는 그 자체로 또는 서버와 통신하여 전자 디바이스에 의해 디스플레이되는 객체들 및/또는 이미지들에 대한 기능들을 수행할 수 있다. 기능들은 예를 들어, 이미지에 포함된 텍스트에 대한 광학 문자 인식(OCR) 수행, 이미지에 포함된 문서 스캐닝, 이미지에 포함된 사람, 동물 또는 기념물 식별, 이미지에 포함된 연락처 정보에 기초하여 통신(예: 이메일 또는 전화 통화) 개시, 또는 이미지에 포함된 바코드 디코딩을 포함할 수 있다. 이러한 기능들 중 하나 이상이 시각적 검색 애플리케이션 내에서 수행될 수 있다. 이러한 기능들 중 하나 이상이 증강 현실 환경 및/또는 애플리케이션과 관련하여 수행될 수 있다.

사용자는 이미지들(예: 증강 현실 상호 작용 및/또는 세션 동안 캡처된 이미지들) 내의 객체들에 대해 전자 디바이스가 어떤 기능들을 수행할 수 있는지 처음에는 알지 못할 수 있다. 전자 디바이스는 객체에 대한 이미지 분류를 수행함으로써 전자 디바이스가 객체에 대한 기능(들)을 수행할 수 있음을 사용자에게 교시 및/또는 트레이닝할 수 있으며, 전자 디바이스가 객체가 속한 것으로 결정한 객체 클래스에 대해 전자 디바이스가 기능을 수행할 수 있는 경우 사용자에게 객체를 선택하라는 프롬프트를 제시한다. 사용자는 프롬프트와 객체 중 하나 또는 둘 다와 상호 작용하거나 선택할 수 있다. 전자 디바이스는 사용자의 객체 선택에 응답하여 객체에 대한 기능을 수행할 수 있다. 전술한 이러한 특징들 중 하나 이상은 시각적 검색(예: 증강 현실 시각적 검색)과 관련하여 수행될 수 있다.

이미지 분류를 수행하는 것은 프로세서 리소스, 메모리 리소스 및/또는 전자 디바이스의 배터리 소모(draining)과 같은 컴퓨팅 리소스를 소모할 수 있다. 컴퓨팅 리소스의 소모를 줄이기 위해, 전자 디바이스는 사용자가 기능에 익숙해지면 이미지 분류를 중지 및/또는 종료할 수 있다. 전자 디바이스는 전자 디바이스가 기능을 수행하도록 프롬프트하기 위한 객체의 선택을 수신한 전자 디바이스의 이력 및/또는 사용자에게 프롬프트를 제시한 전자 디바이스의 이력에 기초하여 사용자가 기능에 익숙한지 결정할 수 있다. 사용자는 프롬프트 없이 및/또는 이미지 분류를 수행하는 전자 디바이스 없이 여전히 객체를 선택할 수 있으며, 전자 디바이스는 선택된 객체의 객체 클래스에 대응하는 기능을 수행함으로써 객체의 선택을 수신하는 것에 응답할 수 있다. 일부 예들에서, 전자 디바이스는 객체의 선택을 수신한 후에 선택된 객체에 대한 이미지 분류를 수행할 수 있다.

도 1a는 디스플레이(102) 내에 제1 객체(104A)를 제시하는 전자 디바이스(100)를 도시한다. 전자 디바이스(100)는 비제한적인 예로서, 예를 들면, 스마트폰, 태블릿 컴퓨터, 패블릿, 노트북 또는 랩탑 컴퓨터 또는 데스크탑 컴퓨터를 포함할 수 있다.

전자 디바이스(100)는 디스플레이(102)를 포함할 수 있다. 디스플레이(102)는 그래픽 출력 및/또는 하나 이상의 이미지를 제시, 디스플레이 및/또는 출력할 수 있다. 일부 예에서, 디스플레이(102)는 사용자로부터의 터치 입력을 수신 및/또는 프로세싱하는 터치스크린을 포함할 수 있다.

디스플레이(102)에 의해 디스플레이 및/또는 제시되는 이미지는 하나 이상의 객체들(104A)을 포함할 수 있다. 객체(들)(104A)는 비제한적인 예로서, 예를 들면, 텍스트, 바코드 및/또는 빠른 응답(QR) 코드, 텍스트 문서 또는 이미지 문서와 같은 문서, 사람 및 동물, 또는 기념물을 포함할 수 있다.

전자 디바이스(100)는 디스플레이(102)에 의해 제시된 이미지의 일부들 및/또는 디스플레이(102)에 의해 제시된 이미지에 포함된 객체(104A)와 같은 하나 이상의 객체들에 대해 이미지 분류를 수행할 수 있다. 전자 디바이스(100)는 객체(104A)와 같은 객체가 전자 디바이스(100)가 기능을 수행할 수 있는 객체 클래스인지 여부를 결정할 수 있다. 일부 예에서, 전자 디바이스(100)는 디스플레이(102)에 의해 디스플레이되는 이미지 내에 다수의 객체 클래스들의 임의의 객체들이 존재하는지 여부를 결정할 수 있다. 일부 예에서, 각각의 객체 클래스는 전자 디바이스(100)가 객체에 대해 수행할 수 있는 하나의 기능에 대응할 수 있다. 일부 예에서, 하나 이상의 객체 클래스의 객체들에 대해 하나 이상의 기능들을 수행할 수 있다. 이 예에서, 전자 디바이스(100)는 객체(104A)가 객체 클래스의 멤버이고/이거나 객체 클래스의 객체(104)가 디스플레이(102)에 의해 디스플레이되는 이미지 내에 존재한다고 결정한다.

도 1b는 제1 객체(104A)와 연관된 프롬프트(106)를 제시하는 전자 디바이스(100)를 도시한다. 디스플레이 내에서 프롬프트를 제시하는 것은 프롬프트를 생성하는 예이다. 생성된 프롬프트들의 다른 예들은 청각 및/또는 음성 프롬프트들(예: 텍스트 대신 및/또는 추가로 단어들을 말하는 보이스) 및/또는 디스플레이(102)로부터의 햅틱 피드백을 포함한다. 프롬프트(106)는 사용자가 제1 객체(104A)를 선택한 것에 응답하여 전자 디바이스(100)가 제1 객체(104A)에 대해 수행할 기능을 나타낼 수 있다. 프롬프트는 전자 디바이스(100)가 수행할 수 있는 기능을 나타내는 정보용일 수 있다. 프롬프트(106)는 예를 들어, 전자 디바이스(100)가 객체(104A)에 포함된 전화 번호 또는 이메일 주소로 전화 통화 또는 이메일을 개시하고, 객체(104A)에 포함된 바코드 또는 QR 코드를 스캔 및/또는 디코딩하고, 객체(104A)에 포함된 텍스트에 대해 광학 문자 인식(OCR)을 수행하고, 객체(104A)에 포함된 문서를 스캔하고, 객체(104A)에 포함된 사람 및/또는 인간을 식별하고, 객체(104A)에 포함된 동물의 유형 및/또는 품종을 식별하고/하거나 객체(104A)에 포함된 기념물 또는 관심 포인트를 식별할 것임을 나타낼 수 있다.

사용자는 객체(104A)를 선택함으로써 프롬프트(106)에 응답할 수 있다. 사용자는 디스플레이(102)가 터치스크린인 예에서 디스플레이(102)에 사전 결정된 제스처들을 입력함으로써 객체(104A)를 선택할 수 있다. 사전 결정된 제스처들의 예는 객체(104A)를 제시하는 디스플레이(102)의 일부를 탭핑하는 것 및/또는 객체(104A)를 제시하는 디스플레이(102)의 일부를 손가락으로 탭핑하고 유지하는 것을 포함한다. 컴퓨터 마우스와 같은 입력 디바이스가 이용 가능할 때 객체(104A)를 선택하는 예는 객체(104A)를 제공하는 디스플레이(102)의 일부에 커서가 위치할 때 마우스 클릭 및/또는 마우스 더블 클릭을 포함한다.

도 1c는 사용자가 제1 객체(104A)를 선택하는 전자 디바이스(100)를 도시한다. 사용자에 의한 객체(104A)의 선택(108A)은 사용자가 객체(104A)를 제공하는 디스플레이(102)의 일부를 탭핑 및/또는 탭핑 및 유지함으로써 수행될 수 있다. 선택(108A)은 기능이 수행될 객체를 쉽게 명확화 및/또는 특정할 수 있다. 전자 디바이스(100)는 선택(108A)을 수신 및/또는 프로세싱할 수 있다. 선택(108A)을 수신 및/또는 프로세싱하는 것에 응답하여, 전자 디바이스(100)는 기능을 수행할 수 있다. 전자 디바이스(100)에 의해 수행되는 기능은 전자 디바이스(100)가 이미지 분류를 수행할 때 전자 디바이스(100)가 객체(104A)가 속한다고 결정한 객체 클래스에 기초할 수 있다. 일부 예에서, 전자 디바이스(100)는 기능을 수행함으로써 객체(104A)를 변형할 수 있다.

도 1d는 제1 객체(104A)(도 1d에는 도시되지 않음)에 대해 기능이 수행된 후의 전자 디바이스(100)를 도시한다. 기능은 제1 객체(104A)를 제1 변형된 객체(110A)로 변형할 수 있다. 제1 객체(104A)의 객체 클래스가 전화 번호인 일부 예에서, 기능은 전화 번호에 대한 통화 개시를 포함할 수 있고 변형된 객체(110A)는 전화 통화가 수행되고 있다는 시각적 표시자(indicator)를 포함할 수 있다. 제1 객체(104A)의 객체 클래스가 이메일 주소인 일부 예에서, 기능은 이메일 주소로 이메일 초안 작성을 개시하는 것을 포함할 수 있고 변형된 객체(110A)는 빈 이메일의 'to' 라인에 제1 객체(104A)의 이메일 주소를 갖는 빈 이메일을 포함할 수 있다. 제1 객체(104A)의 객체 클래스가 바코드 또는 QR 코드인 일부 예에서, 기능은 바코드 또는 QR 코드를 디코딩하는 것을 포함할 수 있고 변형된 객체(110A)는 제1 객체(104A)에 포함된 바코드 또는 QR 코드에 의해 식별되는 아이템의 텍스트 설명 및/또는 제1 객체(104A)에 포함된 바코드 또는 QR 코드에 의해 식별되는 아이템의 이미지를 포함할 수 있다. 제1 객체(104A)의 객체 클래스가 텍스트를 포함하는 일부 예에서, 기능은 텍스트에 대한 광학 문자 인식을 수행하는 것을 포함할 수 있고 변형된 객체(110A)는 제1 객체(104A)로부터 인식된 텍스트를 다른, 더 읽기 쉬운 형식으로 포함할 수 있다. 제1 객체(104A)의 객체 클래스가 문서의 표시자인 일부 예에서, 기능은 문서를 스캔하는 것을 포함할 수 있고 변형된 객체(110A)는 제1 객체(104A)로부터의 문서가 스캔되었다는 표시자를 포함할 수 있다. 제1 객체(104A)의 객체 클래스가 사람, 동물, 기념물 또는 랜드마크인 일부 예에서, 기능은 사람 및/또는 인간, 동물, 기념물 또는 랜드마크를 식별하는 것을 포함할 수 있고, 변형된 객체(110A)는 제1 객체(104A)에 포함된 사람, 동물, 기념물 또는 랜드마크의 텍스트 설명 및/또는 이름을 포함할 수 있다.

프롬프트(106)가 제시되고, 제1 객체(104A)의 선택(108A)을 수행하고, 함수 및/또는 변형된 객체(110A)의 결과를 시청한 후, 사용자는 기능에 익숙해지고 더 이상 전자 디바이스(100)가 기능을 수행할 객체를 선택하기 위한 프롬프트(106)를 필요로 하지 않을 수 있다. 전자 디바이스(100)는 기능과 연관된 객체 클래스에 포함된 객체(104A)의 선택(108A)을 수신하는 것에 기초하여 사용자가 기능에 익숙하다고 결정할 수 있다. 일 실시예에서, 익숙도(familiarity)의 결정은 제1 객체(104A)의 선택(108A) 횟수, 특히 사전 결정된 시간 간격에서 제1 객체(104A)의 선택(108A) 횟수에 의존할 수 있다. 전자 디바이스(100)가 선택(108A)을 여러 번 수신하는 경우, 전자 디바이스(100)는 사용자가 선택에 대해 특정 익숙도를 가지고 있다고 결정할 수 있고 및/또는 가정할 수 있다. 익숙도를 결정하기 위한 또 다른 기준은 객체(104A)의 디스플레이와 선택(108A)이 이루어지는 사이의 시간일 수 있고, 사용자는 상기 객체에 대해 익숙해질 수 있다. 이러한 기준은 결합하여 사용될 수 있으며 이들은 아래에서 추가로 설명되는 익숙도 결정기(210)와 관련하여 사용되는 예이다.

사용자가 기능에 익숙하다는 결정에 기초하여, 전자 디바이스(100)는 이미지 분류 수행을 종료 및/또는 중지할 수 있고 및/또는 사용자에게 프롬프트(106)를 제시하지 않을 수 있다.

도 1e는 디스플레이(102) 내에 제2 객체(104B)를 제시하는 전자 디바이스(100)를 도시한다. 도 1의 디스플레이(102)에 의해 제시된 제2 객체(104B)를 포함하는 이미지는 제2 객체(104B)를 포함하는 도 1a의 디스플레이에 의해 제시된 이미지와 상이할 수 있다. 제2 객체(104B)는 제1 객체(104A)와 동일한 객체 클래스일 수 있고, 및/또는 제2 객체(104B)의 객체 클래스는 제1 객체(104A)에서 수행되었던 동일한 기능과 연관될 수 있다. 사용자가 객체 클래스 및/또는 제1 객체(104A)에서 수행되는 기능에 익숙하다는 전자 디바이스(100)의 결정에 기초하여, 전자 디바이스(100)는 이미지 분류 수행을 종료할 것이고 및/또는 사용자가 제2 객체(104B)에 수행될 기능을 요청하기 위한 프롬프트(106)를 제시하지 않을 것이다. 기능에 대한 사용자의 익숙도에 기초하여, 사용자는 프롬프트(106) 없이 객체(104B)를 선택할 수 있다.

도 1f는 사용자가 제2 객체(104B)를 선택하는 전자 디바이스(100)를 도시한다. 사용자는 기능에 대한 사용자의 익숙도에 기초하여 프롬프트(106) 없이 선택(108A)을 입력하는 것과 유사한 방식으로 선택(108B)을 입력할 수 있다. 전자 디바이스(100)는 객체(104B)의 선택을 수신할 수 있다. 객체(104B)의 선택을 수신하는 것에 기초하여, 전자 디바이스(100)는 객체(104B)에 대한 이미지 분류를 수행할 수 있고 및/또는 객체(104B)가 객체(104A)와 동일한 객체 클래스에 속한다고 결정할 수 있다. 객체(104B)가 객체 클래스에 속한다는 결정에 기초하여, 전자 디바이스(100)는 선택(108B)을 수신하고 객체(104A)에 대해 수행된 기능과 유사한 방식으로 객체(104B)의 객체 클래스에 대한 기능을 수행할 수 있다.

도 1g는 기능이 제2 객체(104B)에 대해 수행된 후의 전자 디바이스(100)를 도시한다. 전자 디바이스(100)는 위에서 설명된 변형된 객체(110A)를 생성하기 위해 객체(104A)에 대한 기능을 수행하는 것과 유사한 방식으로, 도 1g의 디스플레이(102)에 의해 제시된 변형된 객체(110B)를 생성하기 위해 객체(104B)에 대한 기능을 수행할 수 있다.

도 2는 전자 디바이스(100)의 블록도이다. 전자 디바이스(100)는 이미지 제시기(202)를 포함할 수 있다. 이미지 제시기(202)는 디스플레이(102)가 제시 및/또는 디스플레이할 이미지들을 생성 및/또는 제시할 수 있다. 이미지들은 비제한적 예로서 웹 브라우저, 카메라 애플리케이션, 비디오 플레이어 또는 소셜 미디어 애플리케이션과 같은 전자 디바이스(100)에서 러닝 및/또는 실행하는 애플리케이션에 의해 프로세싱된 데이터에 기초하여 생성될 수 있다. 이미지 제시기(202)에 의해 생성 및/또는 제시되는 이미지들은 객체들(104A, 104B) 및/또는 변형된 객체들(110A, 110B)과 같은 객체들을 포함할 수 있다.

전자 디바이스(100)는 이미지 분류기(204)를 포함할 수 있다. 이미지 분류기(204)는 이미지 내의 객체들을 분류할 수 있고, 및/또는 이미지들 내의 객체들이 객체 클래스들의 멤버들인지 여부를 결정할 수 있다. 일부 예에서, 이미지 분류기(204)는 디스플레이된 이미지들의 모든 프레임 내의 객체들이 객체 클래스들의 멤버들인지 여부를 결정할 수 있다. 일부 예에서, 컴퓨팅 리소스의 소비를 줄이기 위해, 이미지 분류기(204)는 디스플레이된 이미지들의 모든 4번째 프레임과 같이 모든 n번째 프레임 내의 객체들이 객체 클래스들의 멤버들인지 여부를 결정할 수 있다. 이미지 분류기(204)는 객체들의 특징들과 객체 클래스들의 특징들을 비교함으로써 디스플레이된 이미지들 내의 객체들이 객체 클래스들의 멤버들인지 여부를 결정할 수 있다. 이미지 분류기(204)는 비제한적인 예로서, 인공 신경 네트워크, 컨벌루션 신경 네트워크, K 최근접 이웃 분류, 결정 트리 또는 서포트 벡터 머신(SVM)과 같은 온 디바이스 기계 학습 기법들을 수행함으로써 디스플레이된 이미지들 내의 객체들이 객체 클래스들의 멤버들인지 여부를 결정할 수 있다. 일부 예에서, 이미지 분류기(204)는 주어진 디스플레이된 이미지 내의 각각의 객체 및/또는 주어진 디스플레이된 이미지의 다수의 일부들이 다수의 클래스들의 멤버들인지 여부를 결정할 수 있다. 일부 예에서, 이미지 분류기(204)는 객체들 및/또는 이미지의 일부들이 다수의 상이한 객체 클래스들의 멤버들인지 여부를 순차적으로 결정할 수 있다.

이미지 분류기(204)는 클래스 라이브러리(206)를 포함할 수 있고 및/또는 액세스할 수 있다. 클래스 라이브러리(206)는 다수의 객체 클래스들을 포함 및/또는 저장할 수 있다. 이미지 분류기(204)는 객체가 클래스 라이브러리(206)에 저장된 객체 클래스의 멤버인지 여부를 결정하기 위해, 객체들(104A, 104B)와 같이 디스플레이(102)에 의해 제시된 객체의 특징들과 클래스 라이브러리(206)에 저장된 객체 클래스들의 특징들을 비교할 수 있다.

이미지 분류기(204)는 이미지 검출기(208)를 포함할 수 있다. 이미지 검출기(208)는 이미지 분류기(204)가 객체 클래스의 멤버라고 결정한 객체의 디스플레이(102) 상의 위치를 검출할 수 있다. 이미지 검출기(208)에 의해 결정된 위치는 프롬프트(106)와 같은 프롬프트를 제시하기 위한 위치를 결정하기 위해 프롬프트 생성기(214)에 의해 사용될 수 있다.

전자 디바이스(100)는 익숙도 결정기(210)를 포함할 수 있다. 익숙도 결정기(210)는 사용자가 객체 클래스 및/또는 객체 클래스와 연관된 기능에 익숙한지 여부 및/또는 사용자의 익숙도 레벨을 결정할 수 있다. 익숙도는 전자 디바이스(100)에 로그인, 활성 및/또는 상호 작용하는 사용자 및/또는 계정과 연관될 수 있다. 일부 예에서, 익숙도 결정기(210)는 사용자가 객체 클래스 및/또는 연관된 기능에 익숙하지 않고 객체 클래스의 객체에 대해 수행될 기능을 요청하도록 프롬프트되어야 하거나, 또는 사용자가 객체 클래스 및/또는 관련 기능에 익숙하고 객체 클래스의 객체에 대해 수행될 기능을 요청하도록 프롬프트되지 않아야 함을 나타내는 사용자에 대한 이진 값을 생성할 수 있다. 어떤 예에서, 익숙도 결정기(210)는 사용자에 대한 범위 내의 다수의 익숙도 값들 중 하나를 생성할 수 있고, 전자 디바이스(100)는 익숙도 값과 문맥상의 정보의 결합에 기초하여 사용자에게 프롬프트를 제시할지 여부를 결정할 수 있다.

익숙도 결정기(210)는 각 객체 클래스 및/또는 기능에 대한 사용자의 익숙도 값을 결정할 수 있다. 익숙도 값은 기능을 수행하기 위한 프롬프트 및/또는 주어진 객체 클래스의 객체에 대한 프롬프트가 사용자에게 제시되었던 횟수 및/또는 빈도에 기초할 수 있으며, 객체 및/또는 객체 클래스에 대한 프롬프트들의 횟수 및/또는 빈도가 많을수록 익숙도 값은 증가된다. 익숙도 값은 사용자가 주어진 객체 클래스의 객체 및/또는 주어진 기능에 대한 객체를 선택한 횟수에 기초할 수 있으며, 사용자가 수행될 기능에 대한 객체를 선택한 횟수가 더 많을수록 객체의 기능 및/또는 객체의 객체 클래스에 대한 익숙도 값을 증가된다. 익숙도 값은 사용자가 주어진 객체 클래스의 객체 및/또는 주어진 기능에 대한 객체를 선택한 이후의 시간의 길이에 기초할 수 있으며, 사용자가 주어진 객체 클래스의 객체 및/또는 주어진 기능에 대한 객체를 선택한 이후의 시간의 길이가 길수록 익숙도 값은 감소된다. 일부 예에서, 전자 디바이스(100)는 사용자가 기능 및/또는 기능과 연관된 객체 클래스에 충분히 익숙하다고 결정하고, 객체 클래스에 대한 이미지 분류의 수행을 중지 및/또는 종료하고 객체 클래스와 연관된 기능에 대한 프롬프트들의 제시를 중지할 수 있고, 그리고 이 후, 사용자가 객체 클래스의 객체 및/또는 객체 클래스와 연관된 기능을 일정 시간 동안 선택하지 않은 후, 사용자가 기능 및/또는 기능과 연관된 객체 클래스에 더 이상 익숙하지 않다고 결정한다. 사용자가 기능 및/또는 기능과 관련된 객체 클래스에 더 이상 익숙하지 않다는 결정에 기초하여, 전자 디바이스(100)는 이미지 클래스에 대한 이미지 분류 수행을 재개할 수 있고 객체 클래스와 연관된 기능을 수행하기 위해 사용자가 객체 클래스의 객체를 선택하도록 프롬프트들을 제시할 수 있다. 익숙도 결정기(210)는 익숙도 값에 대해 사전 결정된 제1 임계값에 도달하면 분류의 종료를 제어할 수 있고, 익숙도 값에 대해 사전 결정된 제2 임계값에 도달하면 분류의 재개를 제어할 수 있다. 이는 사용자가 일부 사용 후 익숙해질 수 있지만 일정 시간 사용하지 않으면 익숙함을 잃을 수 있음을 고려한다. 일 실시예에서, 제1 및 제2 임계값은 동일할 수 있다.

전자 디바이스(100)는 컨텍스트 프로세서(212)를 포함할 수 있다. 컨텍스트 프로세서(212)는 전자 디바이스(100)가 이미지 분류를 수행할 것인지 및/또는 프롬프트를 제시할 것인지를 결정하기 위해 익숙도 값과 결합할 수 있는 컨텍스트 정보를 프로세싱할 수 있다. 컨텍스트 정보는 예를 들어, 전자 디바이스(100)에 포함된 배터리의 충전 레벨과 같은 컴퓨팅 리소스의 상태(컴퓨팅 리소스의 다른 예는 메모리의 가용성, 프로세서 리소스, 네트워크에 대한 연결 강도 또는 사진 촬영장비를 포함함), 하루 중 시간, 전자 디바이스(100)에 포함된 마이크로폰에 의해 수신된 오디오 신호들, 전자 디바이스(100)의 위치, 및/또는 객체 클래스의 이미지들을 시청하고 및/또는 객체 클래스의 이미지들을 저장하는 사용자에 의해 보여지는 특정 객체 클래스(예: 인간 또는 개나 고양이와 같은 특정 유형의 동물)의 이미지들에 대한 사용자의 관심을 포함할 수 있다. 배터리의 충전 레벨이 낮은 경우, 전자 디바이스(100)는 사용자가 기능 및/또는 객체 클래스에 익숙하지 않음에도 불구하고 배터리 전력을 절약하기 위해 이미지 분류를 수행하지 않을 수 있다. 하루 중 시간이 사용자가 특정 기능들을 수행하는 데 관심이 없을 수 있는 시간인 경우, 전자 디바이스(100)는 익숙도 값이 매우 낮지 않는 한 사용자가 특정 기능 및/또는 객체 클래스에 익숙하지 않더라도 해당 특정 기능들과 연관된 객체 클래스에 대해 이미지 분류를 수행하지 않을 수 있으며, 익숙도 값이 매우 낮은 경우에는 전자 디바이스(100)는 이미지 분류를 수행할 수 있다. 오디오 신호가 커피숍과 같은 특정 환경을 나타내는 경우, 전자 디바이스(100)는 사용자가 특정 환경과 연관된 객체 클래스들에 대해 상대적으로 높은 익숙도 값을 가지고 있음에도 불구하고, 커피 또는 메뉴와 같은 특정 환경과 연관된 객체 클래스들에 대한 이미지 분류를 수행할 수 있다. 사용자가 식당가와 같은 특정 위치에 있는 경우, 전자 디바이스는 사용자가 특정 위치와 연관된 객체 클래스들에 비교적 익숙함에도 불구하고, 기호들 및/또는 메뉴들과 같은 특정 위치와 연관된 객체 클래스들의 객체들의 이미지 분류를 수행할 수 있다. 전자 디바이스(100)는 사용자가 특정 객체 클래스의 이미지들에 대한 관심이 높다고 결정한 경우, 전자 디바이스(100)는 사용자가 객체 클래스 및/또는 객체 클래스와 연관된 기능에 비교적 익숙함에도 불구하고 특정 객체 클래스의 객체들의 이미지 분류를 수행할 수 있다.

전자 디바이스(100)는 프롬프트 생성기(214)를 포함할 수 있다. 프롬프트 생성기(214)는 사용자가 수행할 기능에 대한 객체를 선택할 수 있도록, 도 1b에 도시되고 설명된 프롬프트(106)와 같은 프롬프트를 생성할 수 있다. 프롬프트 생성기(214)는 객체가 전자 디바이스(100)가 기능을 수행할 수 있는 객체 클래스의 멤버라고 결정하는 이미지 분류기(204)에 기초하여 및/또는 응답하여 디스플레이(102) 상에 프롬프트를 생성 및/또는 표시할 수 있다. 프롬프트 생성기(214)는 이미지 검출기(208)에 의해 결정된 객체의 위치에 기초하여 객체에 근접한 디스플레이(102) 상의 위치에서 프롬프트를 생성할 수 있다. 프롬프트는 객체에서 수행될 기능을 식별 및/또는 설명(예: 텍스트)할 수 있다. 수행될 기능은 기능이 수행될 객체의 객체 클래스와 연관될 수 있다.

전자 디바이스(100)는 선택 프로세서(216)를 포함할 수 있다. 선택 프로세서(216)는 기능과 연관된 객체 클래스의 멤버인 객체들(104A, 104B) 중 하나와 같은 객체의 선택들(108A, 108B) 중 하나와 같은 선택을 프로세싱할 수 있다. 선택은 디스플레이(102)가 터치스크린인 예에서 선택된 객체를 제시 및/또는 디스플레이하고 있는 디스플레이(102)의 일부에 대한 탭 또는 탭-앤-홀드 제스처와 같은 제스처, 또는 커서가 선택된 객체를 제시 및/또는 디스플레이하고 디스플레이(102)의 일부 위에 있을 때 마우스 클릭 또는 더블 클릭을 포함한다. 선택 프로세서(216)는 입력이 디스플레이(102)에 의해 제시되고 및/또는 디스플레이되는 객체에 대해 사전 결정된 제스처에 대한 기준을 만족하는지 여부를 결정할 수 있다. 선택 프로세서(216)가 입력이 디스플레이(102)에 의해 제시되고/되거나 디스플레이되는 객체에 대해 사전 결정된 제스처에 대한 기준을 만족한다고 결정하면, 선택 프로세서(216)는 사용자가 객체를 선택했다고 결정할 수 있다. 사용자가 객체를 선택했다는 결정에 기초하여, 선택 프로세서는 기능 프로세서(218)가 객체에 대한 및/또는 관련된 기능을 수행하도록 프롬프트 및/또는 지시할 수 있다.

전자 디바이스(100)는 기능 프로세서(218)를 포함할 수 있다. 기능 프로세서(218)는 선택 프로세서(216)가 사용자가 선택한 것으로 결정한 객체에 대한 기능을 수행할 수 있다. 기능 프로세서(218)는 이미지 분류기(204)가 객체가 멤버라고 결정한 객체 클래스에 기초하여 기능을 수행 및/또는 선택할 수 있다. 기능 프로세서(218)는 객체를 매개변수로서 기능에 전달할 수 있다. 매개변수로서 기능에 전달된 객체는 디스플레이(102)에 의해 제시된 이미지의 일부를 포함할 수 있다. 기능 프로세서(218)가 매개변수로 전달할 이미지 일부는 이미지 검출기(208)에 의해 결정된 객체의 위치에 기초할 수 있다. 기능 프로세서에 의해 수행 및/또는 선택된 기능은 예를 들어, 객체에 포함된 전화 번호로 전화 통화 개시, 객체에 포함된 이메일 주소로 이메일 초안 작성 개시, 객체에 포함된 바코드 또는 QR 코드 디코딩, 객체에 포함된 텍스트에 대한 광학 문자 인식 수행, 객체에 포함되거나 객체에 의해 식별된 문서 스캐닝, 또는 객체에 포함된 사람 및/또는 인간, 동물, 기념물 또는 랜드마크 식별을 포함할 수 있다. 일부 예에서, 기능 프로세서(218)는 전자 디바이스(100)에서 로컬로 기능을 수행할 수 있다. 일부 예에서, 기능 프로세서(218)는 객체를 매개변수로 하는 애플리케이션 프로그래밍 인터페이스(API)를 호출하는 것과 같이 객체를 포함하는 요청을 서버에 전송하고, 요청 전송에 응답하여 서버로부터 변형된 객체를 수신함으로써, 기능을 수행할 수 있다. 기능을 수행한 후, 기능 프로세서(218)는 디스플레이(102)에 의한 제시 및/또는 디스플레이를 위한 변형된 객체(110A, 110B)와 같은 변형된 객체를 생성할 수 있다.

전자 디바이스(100)는 적어도 하나의 프로세서(220)를 포함할 수 있다. 적어도 하나의 프로세서(220)는 적어도 하나의 메모리 디바이스(222)에 저장된 명령어들과 같은 명령어들을 실행하여 전자 디바이스(100)가 본 명세서에 기술된 방법들, 기능들 및/또는 기법들의 임의의 결합을 수행하게 할 수 있다.

전자 디바이스(100)는 적어도 하나의 메모리 디바이스(222)를 포함할 수 있다. 적어도 하나의 메모리 디바이스(222)는 비일시적 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 적어도 하나의 메모리 디바이스(222)는 프로세서(220)와 같은 적어도 하나의 프로세서에 의해 실행될 때 전자 디바이스(100)와 같은 컴퓨팅 시스템이 본 명세서에 기술된 방법들, 기능들 및/또는 기법들의 임의의 결합을 수행하도록 구성되는 데이터 및 명령어들을 저장할 수 있다. 따라서, 여기에 기술된 임의의 구현예들에서(특정 구현과 관련하여 명시적으로 언급되지 않더라도), 전자 디바이스(100)와 연관되거나 이에 포함된 소프트웨어(예: 프로세싱 모듈들, 저장된 명령어들)는 단독으로 또는 전자 디바이스(100)와 결합하여 본 명세서에 기술된 방법들, 기능들 및/또는 기법들의 임의의 결합을 수행하도록 구성될 수 있다.

전자 디바이스(100)는 적어도 하나의 입출력 노드(224)를 포함할 수 있다. 적어도 하나의 입/출력 노드(224)는 데이터를 수신 및/또는 송신할 수 있고/있거나 입력을 수신하고 사용자로부터 그리고 사용자에게 출력을 제공할 수 있다. 입력 및 출력 기능들은 하나의 노드로 결합되거나 별도의 입력 및 출력 노드로 분할될 수 있다. 입력/출력 노드(224)는 예를 들어 디스플레이(디스플레이(102)와 같은 터치스크린 디스플레이일 수 있음), 카메라, 스피커, 마이크로폰, 하나 이상의 버튼들, 모션 검출기 및/또는 가속도계, 온도계, 광 센서 및/또는 다른 컴퓨팅 디바이스들과 통신하기 위한 하나 이상의 유선 또는 무선 인터페이스를 포함할 수 있다.

도 3은 전자 디바이스(100)에 의해 수행되는 방법의 흐름도이다. 도 3은 전자 디바이스(100)가 사용자가 기능 및/또는 기능과 연관된 객체 클래스에 익숙한지 여부에 따라 이미지 분류를 수행하는 사이클을 도시한다. 이미지 제시기(202)는 이미지(302)를 제시할 수 있다. 이미지 제시기(202)는 디스플레이(102)에 이미지를 제시할 수 있다. 이미지는 웹 브라우저, 카메라 또는 소셜 미디어 애플리케이션과 같은 전자 디바이스에서 실행되는 애플리케이션에 기초할 수 있다.

이미지 분류기(204)는 디스플레이(102)에 의해 제시된 이미지 및/또는 이미지의 일부들을 분류(304)할 수 있다. 이미지 분류기(204)는 특정 객체 클래스에 대한 이미지 분류를 수행하는 사이클이 켜져 있는 동안 이미지를 분류할 수 있다. 이미지의 일부들은 객체들(104A, 104B)과 같은 객체들로 간주될 수 있다. 이미지 분류기(204)는 이미지 및/또는 객체들이 클래스 라이브러리에 저장된 하나 이상의 객체 클래스들의 멤버들인지를 결정함으로써 이미지 및/또는 객체들을 분류할 수 있다.

익숙도 결정기(210)는 컨텍스트 프로세서(212)와 결합하여 사용자가 객체의 객체 클래스 및/또는 객체와 연관된 기능에 익숙한지를 결정할 수 있다(306). 익숙도 결정기(210)는, 컨텍스트 프로세서(212)와 결합하여, 비제한적 예로서, 객체 클래스의 객체에 대한 기능을 수행하기 위해 (프롬프트(106)와 같은) 프롬프트가 사용자에게 제시된 횟수, 사용자가 객체 클래스의 객체를 선택한 횟수, 사용자가 객체 클래스의 객체를 선택한 후 경과된 시간, 전자 디바이스(100)에 포함된 배터리의 충전 레벨, 하루 중 시간, 전자 디바이스(100)에 포함된 마이크로폰에 의해 수신된 오디오 신호들, 전자 디바이스(100)의 위치, 및/또는 객체 클래스의 이미지들을 시청하고 및/또는 객체 클래스의 이미지들을 저장하는 사용자에 의해 보여지는 특정 객체 클래스의 이미지들에 대한 사용자의 관심 중 하나 이상의 결합에 기초하여 사용자가 객체의 객체 클래스 및 객체와 연관된 기능에 대해 익숙한지 여부를 결정할 수 있다.

익숙도 결정기(210)가 컨텍스트 프로세서(212)와 결합하여, 사용자가 객체 클래스 및/또는 기능에 익숙하다고 결정하면, 전자 디바이스(100)는 객체 클래스 및/또는 기능에 대한 이미지 분류하는 사이클을 끌 수 있다. 익숙도 결정기가 사용자가 객체 클래스 및/또는 기능에 익숙하다고 결정하고 및/또는 객체 클래스 및/또는 기능에 대한 이미지 분류하는 사이클을 끄는 것에 기초하여, 선택 프로세서(216)는 후술하는 바와 같이, 전자 디바이스(100)가 객체의 선택을 수신하는지 여부를 결정(308)할 수 있다. 일부 예에서, 익숙도 결정기(210)가 컨텍스트 프로세서(212)와 결합하여, 사용자가 객체 클래스 및/또는 기능에 익숙하다고 결정하면, 이미지 분류기(204)는 전자 디바이스(100)가 객체 클래스 및/또는 기능에 대한 이미지 분류하는 사이클을 끄는 것에 기초하여 익숙한 객체 클래스의 객체들이 존재하는지 여부를 결정하는 것을 중단할 수 있다. 익숙도 결정기(210)가 컨텍스트 프로세서(212)와 결합하여, 사용자가 객체 클래스 및/또는 기능에 익숙하지 않다고 결정하고/하거나 객체 클래스 및/또는 기능에 대해 이미지 분류하는 사이클이 켜지는 경우, 프롬프트 생성기(214)는 프롬프트(312)를 제시할 수 있다(및/또는 전자 디바이스(100)는 객체 클래스 및/또는 기능에 대한 이미지 분류하는 사이클을 켤 수 있다). 프롬프트(106)와 같은 프롬프트는 객체에 대해 수행될 기능을 나타내거나 및/또는 설명할 수 있다. 프롬프트의 표현은 이미지 검출기(208)에 의해 결정된 객체의 위치 및 객체의 객체 클래스 및/또는 객체에 대해 수행될 기능에 기초할 수 있다.

프롬프트를 제시하고(312) 및/또는 사용자가 객체 클래스 및/또는 기능에 익숙하다고 결정한 후, 전자 디바이스(100) 및/또는 선택 프로세서(216)는 전자 디바이스(100)가 객체의 선택을 수신했는지 여부를 결정할 수 있다. 선택 프로세서(216)는 전자 디바이스(100)가 객체를 제시하는 디스플레이(102)의 영역에 대한 탭 또는 탭 앤 홀드와 같은 사전 결정된 제스처 또는 커서가 객체를 제시하는 디스플레이(102)의 영역 위에 있을 때 마우스 클릭 또는 더블 클릭을 수신했는지 여부에 기초하여 객체의 선택을 수신했는지 여부를 결정할 수 있다.

선택 프로세서(216)가 전자 디바이스(100)가 객체의 선택을 수신하지 않았다고 결정하면, 전자 디바이스(100)는 계속해서 이미지를 제시할 수 있다(302). 선택 프로세서(216)가 전자 디바이스(100)가 객체의 선택을 수신했다고 결정하면, 기능 프로세서(218)는 객체에 대한 기능을 수행(310)할 수 있다. 기능(310)을 수행한 후, 전자 디바이스(100)는 계속해서 이미지를 제시할 수 있다(302).

도 4는 전자 디바이스(100)에 의해 수행되는 방법의 흐름도이다. 방법은 디스플레이된 이미지 내에서 이미지 분류를 수행하는 단계(402)를 포함할 수 있다. 방법은 이미지 분류를 수행하는 동안 객체 클래스의 제1 객체(104A)가 디스플레이된 이미지 내에 존재하는지 결정하는 단계(404)을 포함할 수 있다. 방법은 디스플레이된 이미지 내에 프롬프트(106)를 제시하는 것과 같은 프롬프트를 생성하는 단계(406)를 포함할 수 있다. 방법은 예를 들어 프롬프트(106)에 응답하여 사용자로부터 제1 객체(104A)의 선택(108A)을 수신하는 단계(408)를 포함할 수 있다. 방법은 제1 객체(104A)의 선택을 수신하는 것에 응답하여, 제1 객체(104A)에 대한 기능을 수행하는 단계(410)를 포함할 수 있다. 이 방법은 프롬프트(106)에 응답할 수 있는 제1 객체(104A)의 선택에 기초하여, 사용자가 기능에 익숙한지 결정하는 단계(412)를 포함할 수 있다. 이 방법은 사용자가 기능에 익숙하다는 결정에 기초하여 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 단계(414)를 포함할 수 있다. 방법은 사용자가 디스플레이된 이미지 내의 객체 클래스의 제2 객체(104B)를 선택하는 것에 응답하여, 제2 객체(104B)에 대한 기능을 수행하는 단계(416)를 포함할 수 있다.

일부 예에서, 제1 객체에 대한 기능을 수행하는 단계는 디스플레이된 이미지에 대해 로컬 이미지 인식 기능을 수행하는 단계를 포함할 수 있다.

일부 예에서, 제1 객체에 대한 기능을 수행하는 단계는 디스플레이된 이미지를 서버로 전송하는 단계, 및 서버로부터 변형된 객체를 수신하는 단계를 포함할 수 있다.

일부 예에서, 객체 클래스는 텍스트를 포함할 수 있다. 일부 예에서, 기능은 제1 객체에 대한 광학 문자 인식을 수행하는 것을 포함할 수 있다.

일부 예에서, 객체 클래스는 바코드를 포함할 수 있다. 일부 예들에서, 기능은 제1 객체를 디코딩하는 것을 포함할 수 있다.

일부 예에서, 객체 클래스는 인간들을 포함할 수 있다. 일부 예에서, 기능은 제1 객체와 연관된 이름을 결정하는 것을 포함할 수 있다.

일부 예에서, 방법은 컴퓨팅 시스템의 위치에 기초하여 객체 클래스를 결정하는 단계를 더 포함할 수 있다.

일부 예에서, 방법은 사용자에 의해 이전에 시청된 이미지들에 기초하여 객체 클래스를 결정하는 단계를 더 포함할 수 있다.

일부 예에서, 사용자가 기능에 익숙하다는 결정은 사용자가 객체 클래스에 대한 기능에 익숙하다고 결정하는 것을 포함할 수 있고, 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것은 객체 클래스에 대한 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것을 포함할 수 있다.

일부 예에서, 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것은 사용자가 기능 및 하루 중 시간에 익숙하다는 결정에 기초할 수 있다.

일부 예에서, 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것은 사용자가 기능 및 컴퓨팅 시스템에 포함된 배터리의 충전 레벨에 익숙하다는 결정에 기초할 수 있다.

일부 예에서, 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것은 사용자가 기능 및 컴퓨팅 시스템에 포함된 마이크로폰에 의해 수신된 오디오 신호에 익숙하다는 결정에 기초할 수 있다.

일부 예에서, 방법은 제2 객체의 선택을 수신하고 제2 객체가 객체 클래스에 속한다고 결정하는 것에 응답하여 제2 객체에 대한 이미지 분류를 수행하는 단계를 더 포함할 수 있고, 제2 객체에 대한 기능을 수행하는 단계는 제2 객체가 객체 클래스에 속한다는 결정에 기초할 수 있다.

일부 예에서, 방법은 객체 클래스의 제1 객체가 디스플레이된 이미지 내에 존재한다고 결정한 후에 제1 객체에 대한 이미지 검출을 수행하는 단계를 더 포함할 수 있다. 디스플레이된 이미지 내 프롬프트를 제시하는 것은 디스플레이된 이미지 내에서 제1 객체가 검출된 위치에 기초하여 디스플레이된 이미지 내의 위치에 프롬프트를 제시하는 것을 포함할 수 있다.

일부 예에서, 방법은 다수의 추가 이미지들을 디스플레이하는 단계, 사용자가 디스플레이된 다수의 추가 이미지들 중 일부를 선택하지 않은 것에 기초하여, 사용자가 기능에 더 이상 익숙하지 않다고 결정하는 단계, 및 사용자가 기능에 더 이상 익숙하지 않다는 결정에 기초하여, 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 단계, 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 동안, 객체 클래스의 후속 객체가 후속으로 디스플레이되는 이미지 내에 존재하는지 결정하는 단계, 및 후속으로 디스플레이되는 이미지 내에서 후속 프롬프트를 제시하는 단계를 더 포함할 수 있다.

일부 예에서, 객체 클래스는 제1 객체 클래스를 포함할 수 있고, 프롬프트는 제1 프롬프트를 포함할 수 있고, 기능은 제1 기능을 포함할 수 있다. 방법은 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 단계, 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 동안, 후속으로 디스플레이되는 이미지 내에서 제2 객체 클래스의 제2 객체를 검출하는 단계, 여기서 제2 객체 클래스는 제1 객체 클래스와 상이하며, 후속으로 디스플레이되는 이미지 내에서 제2 프롬프트를 제시하는 단계, 사용자로부터 제2 객체의 선택을 수신하는 단계, 및 제2 객체의 선택을 수신하는 것에 응답하여, 제2 객체에 대해 제2 기능을 수행하는 단계를 더 포함할 수 있고, 여기서 제2 기능은 제1 기능과 다르다.

도 5는 여기에 설명된 기법들과 함께 사용될 수 있는 범용 컴퓨터 디바이스(500) 및 범용 모바일 컴퓨터 디바이스(550)의 예를 도시한다. 컴퓨팅 디바이스(500)는 랩탑, 데스크탑, 태블릿, 워크스테이션, 개인용 디지털 어시스턴트, 텔레비전, 서버, 블레이드 서버, 메인프레임 및 전자 디바이스(100)와 통신할 수 있는 다른 적절한 컴퓨팅 디바이스들과 같은 다양한 형태의 디지털 컴퓨터들을 나타내기 위한 것이다. 컴퓨팅 디바이스(550)는 개인용 디지털 어시스턴트, 셀룰러 전화기, 스마트폰 및 전자 디바이스(100)의 예가 될 수 있는 기타 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스들을 나타내기 위한 것이다. 여기에 표시된 구성요소, 연결 및 관계, 기능들은 예시일 뿐이며 이 문서에서 설명 및/또는 청구된 발명의 구현을 제한하지 않는다.

컴퓨팅 디바이스(500)는 프로세서(502), 메모리(504), 스토리지 디바이스(506), 메모리(504) 및 고속 확장 포트(510)에 연결되는 고속 인터페이스(508), 저속 버스(514) 및 스토리지 디바이스(506)에 연결되는 저속 인터페이스(512)를 포함한다. 프로세서(502)는 반도체 기반 프로세서일 수 있다. 메모리(504)는 반도체 기반 메모리일 수 있다. 각각의 구성요소(502, 504, 506, 508, 510, 512)는 다양한 버스를 사용하여 상호 연결되며, 공통 마더보드 또는 적절한 다른 방식들로 장착될 수 있다. 프로세서(502)는 메모리(504) 또는 스토리지 디바이스(506)에 저장된 명령어들을 포함하여 컴퓨팅 디바이스(500) 내에서 실행하기 위한 명령어들을 프로세싱하여 고속 인터페이스(508)에 연결된 디스플레이(516)와 같은 외부 입력/출력 디바이스에 GUI에 대한 그래픽 정보를 디스플레이한다. 다른 구현예에서, 다중 프로세서 및/또는 다중 버스는 다중 메모리 및 메모리 유형과 함께 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(500)이 연결될 수 있으며, 각각의 디바이스는 필요한 동작들의 일부를 제공한다(예: 서버 뱅크, 블레이드 서버 그룹 또는 다중 프로세서 시스템).

메모리(504)는 컴퓨팅 디바이스(500) 내에 정보를 저장한다. 일 구현예에서, 메모리(504)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현예에서, 메모리(504)는 비휘발성 메모리 유닛 또는 유닛들이다. 메모리(504)는 또한 자기 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독 가능 매체일 수 있다.

스토리지 디바이스(506)는 컴퓨팅 디바이스(500)를 위한 대용량 스토리지를 제공할 수 있다. 일 구현예에서, 스토리지 디바이스(506)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 기타 유사한 솔리드 스테이트 메모리 디바이스, 또는 저장 영역 네트워크 내 디바이스들 또는 기타 구성들을 포함하는 디바이스들의 어레이와 같은 컴퓨터 판독 가능 매체이거나 이를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 매체에 가시적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 위에서 설명한 것과 같은 하나 이상의 방법들을 수행하는 명령어들을 포함할 수 있다. 정보 매체는 메모리(504), 스토리지 디바이스(506) 또는 프로세서(502)의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.

고속 컨트롤러(508)는 컴퓨팅 디바이스(500)에 대한 대역폭 집중 동작들을 관리하는 반면, 저속 컨트롤러(512)는 낮은 대역폭 집중 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시일 뿐이다. 일 구현예에서, 고속 컨트롤러(508)는 메모리(504), 디스플레이(516)(예: 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(510)에 결합된다. 구현예에서, 저속 컨트롤러(512)는 스토리지 디바이스(506) 및 저속 확장 포트(514)에 결합된다. 다양한 통신 포트들(예: USB, 블루투스, 이더넷, 무선 이더넷)을 포함할 수 있는 저속 확장 포트는 예를 들어 네트워크 어댑터를 통해 키보드, 포인팅 디바이스, 스캐너 또는 스위치나 라우터와 같은 네트워킹 디바이스와 같은 하나 이상의 입력/출력 디바이스에 연결될 수 있다.

컴퓨팅 디바이스(500)는 도면에 도시된 바와 같이 다양한 형태로 구현될 수 있다. 예를 들어, 표준 서버(520)로 구현되거나 이러한 서버 그룹에서 여러 번 구현될 수 있다. 또한 랙 서버 시스템(524)의 일부로 구현될 수도 있다. 또한, 랩탑 컴퓨터(522)와 같은 개인용 컴퓨터에서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(500)로부터의 구성요소들은 디바이스(550)와 같은 모바일 디바이스(미도시)의 다른 구성요소들과 결합될 수 있다. 그러한 디바이스들 각각은 하나 이상의 컴퓨팅 디바이스들(500, 550)을 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(500, 550)로 구성될 수 있다.

컴퓨팅 디바이스(550)는 다른 구성요소들 중에서 프로세서(552), 메모리(564), 디스플레이(554)와 같은 입력/출력 디바이스, 통신 인터페이스(566) 및 트랜시버(568)를 포함한다. 디바이스(550)에는 추가 스토리지 디바이스를 제공하기 위해 마이크로드라이브 또는 기타 디바이스와 같은 스토리지 디바이스가 제공될 수도 있다. 각각의 구성 요소(550, 552, 564, 554, 566 및 568)는 다양한 버스를 사용하여 상호 연결되며, 일부 구성 요소들은 공통 마더보드 또는 적절한 다른 방식들로 장착될 수 있다.

프로세서(552)는 메모리(564)에 저장된 명령어들을 포함하여 컴퓨팅 디바이스(550) 내의 명령어들을 실행할 수 있다. 프로세서는 별도의 다중 아날로그 및 디지털 프로세서를 포함하는 칩 세트로 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스, 디바이스(550)에 의해 실행되는 애플리케이션 및 디바이스(550)에 의한 무선 통신의 제어와 같은 디바이스(550)의 다른 구성요소들의 조정을 제공할 수 있다.

프로세서(552)는 제어 인터페이스(558) 및 디스플레이(554)에 연결된 디스플레이 인터페이스(556)를 통해 사용자와 통신할 수 있다. 디스플레이(554)는 예를 들어 TFT LCD(Thin-Film-Transistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(556)는 디스플레이(554)를 구동하여 그래픽 및 기타 정보를 사용자에게 제공하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(558)는 사용자로부터 명령을 수신하고 프로세서(552)에 제출하기 위해 명령을 변환할 수 있다. 또한, 프로세서(552)와 통신하는 외부 인터페이스(562)가 제공되어 다른 디바이스들과 디바이스(550)의 근거리 통신을 가능하게 할 수 있다. 외부 인터페이스(562)는 예를 들어 일부 구현예에서는 유선 통신을 위해, 또는 다른 구현예에서는 무선 통신을 위해 제공할 수 있고, 다수의 인터페이스가 또한 사용될 수 있다.

메모리(564)는 컴퓨팅 디바이스(550) 내에 정보를 저장한다. 메모리(564)는 컴퓨터 판독 가능 매체 또는 미디어, 휘발성 메모리 유닛 또는 유닛들 또는 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로 구현될 수 있다. 확장 메모리(574)는 또한 제공될 수 있고 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(572)를 통해 디바이스(550)에 연결될 수 있다. 이러한 확장 메모리(574)는 디바이스(550)를 위한 추가 저장 공간을 제공하거나 디바이스(550)를 위한 응용 프로그램 또는 기타 정보를 저장할 수도 있다. 구체적으로, 확장 메모리(574)는 위에서 설명한 프로세스를 수행하거나 보완하기 위한 명령어들을 포함할 수 있으며 보안 정보도 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(574)는 디바이스(550)를 위한 보안 모듈로서 제공될 수 있고 디바이스(550)의 안전한 사용을 허용하는 명령어들로 프로그램될 수 있다. 또한, 보안 애플리케이션은 SIMM 카드를 통해 해킹 불가능한 방식으로 SIMM 카드에 식별 정보를 배치하는 것과 같은 추가 정보와 함께 제공될 수 있다.

메모리는 예를 들어 후술하는 바와 같이 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 매체에 유형적으로 구현된다. 컴퓨터 프로그램 제품은 실행될 때 위에서 설명한 것과 같은 하나 이상의 방법들을 수행하는 명령어들을 포함한다. 정보 캐리어는 메모리(564), 확장 메모리(574) 또는 프로세서(552)의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이며, 예를 들어 트랜시버(568) 또는 외부 인터페이스(562)를 통해 수신될 수 있다.

디바이스(550)는 필요한 경우 디지털 시그널 프로세싱 회로를 포함할 수 있는 통신 인터페이스(566)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(566)는 특히 GSM 보이스 통화, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수 송수신기(568)를 통해 발생할 수 있다. 또한, 블루투스, WiFi 또는 기타 트랜시버(미도시)를 사용하는 것과 같은 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(570)은 디바이스(550)에서 실행되는 애플리케이션에 의해 적절하게 사용될 수 있는 추가적인 내비게이션 및 위치 관련 무선 데이터를 디바이스(550)에 제공할 수 있다.

디바이스(550)는 또한 오디오 코덱(560)을 사용하여 청각적으로 통신할 수 있으며, 오디오 코덱은 사용자로부터 음성 정보를 수신하고 이를 사용 가능한 디지털 정보로 변환할 수 있다. 마찬가지로 오디오 코덱(560)은 예를 들어 디바이스(550)의 핸드셋에서와 같이 스피커를 통해 사용자를 위한 가청 사운드를 생성할 수 있다. 그러한 사운드는 보이스 전화 통화로부터의 사운드를 포함할 수 있고, 녹음된 사운드(예: 보이스 메시지, 음악 파일 등)를 포함할 수 있고, 또한 디바이스(550)에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다.

컴퓨팅 디바이스(550)는 도면에 도시된 바와 같이 다양한 형태로 구현될 수 있다. 예를 들어, 셀룰러 전화기(580)로 구현될 수 있다. 또한 스마트폰(582), 개인용 디지털 어시스턴트 또는 기타 유사한 모바일 디바이스의 일부로 구현될 수 있다.

여기에 설명된 시스템들 및 기법들의 다양한 구현예들은 디지털 전자 회로, 집적 회로, 특별히 설계된 애플리케이션 특정 집적 회로들(ASICs), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 스토리지 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고, 데이터 및 명령어들을 전송하도록 결합된 특수 또는 범용일 수 있는 적어도 하나의 프로그래밍 가능한 프로세서를 포함하는 프로그래밍 가능한 시스템에서 실행 가능 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.

이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)은 프로그래밍 가능한 프로세서를 위한 기계 명령어들을 포함하며 고급 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는, "기계 판독 가능 매체" "컴퓨터 판독 가능 매체"라는 용어는 기계 명령어들을 기계 판독 가능 신호로서 수신하는 기계 판독 가능 매체를 포함하여 프로그램 가능 프로세서에 기계 명령어들 및/또는 데이터를 제공하는 데 사용되는 모든 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예: 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 디바이스들(PLDs))를 의미한다. "기계 판독 가능 신호"라는 용어는 프로그램 가능한 프로세서에 기계 명령어들 및/또는 데이터를 제공하는 데 사용되는 모든 신호를 의미한다.

사용자와의 상호 작용을 제공하기 위해, 여기에 설명된 시스템들 및 기법들은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예: CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예: 마우스 또는 트랙볼)를 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들을 사용하여 사용자와의 상호 작용도 제공할 수 있다; 예를 들어, 사용자에게 제공되는 피드백은 모든 형태의 감각 피드백(예: 시각적 피드백, 청각적 피드백 또는 촉각 피드백)일 수 있다; 그리고 사용자로부터의 입력은 음향, 스피치 또는 촉각 입력을 포함한 모든 형태로 수신될 수 있다.

여기에 설명된 시스템 및 기법들은 백 엔드 구성 요소(예: 데이터 서버)를 포함하거나 미들웨어 구성 요소(예: 애플리케이션 서버)를 포함하거나 프런트 엔드 구성 요소(예: 사용자가 여기에 설명된 시스템들 및 기법들과 상호 작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저가 있는 클라이언트 컴퓨터)를 포함하거나 이러한 백 엔드, 미들웨어 또는 프런트 엔드 구성요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성 요소는 디지털 데이터 통신의 모든 형태 또는 매체(예: 통신 네트워크)로 상호 연결될 수 있다. 통신 네트워크의 예에는 로컬 영역 네트워크(LAN), 광역 네트워크(WAN) 및 인터넷이 포함된다.

컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램으로 인해 발생한다.

다수의 실시예들이 설명되었다. 그럼에도 불구하고, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있음을 이해할 것이다.

다음에서 일부 예들이 설명된다.

예제 1: 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령어들은 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금:

디스플레이된 이미지 내에서 이미지 분류를 수행하게 하고;

상기 이미지 분류를 수행하는 동안, 객체 클래스의 제1 객체가 상기 디스플레이된 이미지 내에 존재하는지 결정하게 하고;

상기 디스플레이된 이미지 내에서 프롬프트를 제시하게 하고;

상기 프롬프트에 대한 응답으로 사용자로부터 상기 제1 객체의 선택을 수신하게 하고;

상기 제1 객체의 선택을 수신하는 것에 응답하여, 상기 제1 객체에 대한 기능을 수행하게 하고;

상기 프롬프트에 대한 응답으로 상기 제1 객체의 선택에 기초하여, 사용자가 상기 기능에 익숙한지 결정하게 하고;

사용자가 상기 기능에 익숙하다는 결정에 기초하여, 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하고; 그리고

사용자가 상기 디스플레이된 이미지 내에서 상기 객체 클래스의 제2 객체를 선택하는 것에 응답하여, 상기 제2 객체에 대한 기능을 수행하게 하도록 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 2: 예제 1에 있어서, 상기 제1 객체에 대한 기능을 수행하는 단계는 상기 디스플레이된 이미지에 대한 로컬 이미지 인식 기능을 수행하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 3: 예제 1 또는 예제 2에 있어서, 상기 제1 객체에 대한 기능을 수행하는 단계는:

상기 디스플레이된 이미지를 서버로 전송하는 단계; 및

상기 서버로부터 변형된 객체를 수신하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 4: 선행하는 어느 한 예제에 있어서, 상기 객체 클래스는 텍스트를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 5: 예제 4에 있어서, 상기 기능은 상기 제1 객체에 대한 광학 문자 인식을 수행하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 6: 선행하는 어느 한 예제에 있어서, 상기 객체 클래스는 바코드를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 7: 예제 6에 있어서, 상기 기능은 상기 제1 객체를 디코딩하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 8: 선행하는 어느 한 예제에 있어서, 상기 객체 클래스는 인간들을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 9: 예제 8에 있어서, 상기 기능은 상기 제1 객체와 연관된 이름을 결정하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 10: 선행하는 어느 한 예제에 있어서, 상기 명령어들은 컴퓨팅 시스템으로 하여금 컴퓨팅 시스템의 위치에 기초하여 상기 객체 클래스를 결정하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 11: 선행하는 어느 한 예제에 있어서, 상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자에 의해 이전에 시청된 이미지들에 기초하여 상기 객체 클래스를 결정하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 12: 선행하는 어느 한 예제에 있어서, 상기 명령어들은 컴퓨팅 시스템으로 하여금 객체가 전자 디바이스가 기능을 수행할 수 있는 객체 클래스인지 여부를 결정하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 13: 선행하는 어느 한 예제에 있어서, 익숙도 결정기에 의한 익숙도의 결정은 객체의 선택 횟수, 특히 사전 결정된 시간 간격 및/또는 객체의 디스플레이와 선택 사이의 시간, 특히 익숙도 값이 생성되는 시간에서 객체의 선택 횟수에 의존하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 14: 예제 13에 있어서, 상기 익숙도 결정기는 익숙도 값에 대해 사전 결정된 제1 임계값에 도달하면 상기 분류의 종료를 제어하고, 상기 익숙도 값에 대해 사전 결정된 제2 임계값에 도달하면 상기 분류의 재개를 제어하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 15: 예제 13 또는 예제 14에 있어서, 컨텍스트 프로세서는 이미지 분류를 수행할지 여부 및/또는 프롬프트를 제시할지 여부를 결정하기 위해 상기 전자 디바이스가 익숙도 값과 결합할 수 있는 컨텍스트 정보를 프로세싱하고, 상기 컨텍스트 정보는 특히 상기 전자 디바이스에 포함된 배터리의 충전 레벨, 하루 중 시간, 상기 전자 디바이스에 포함된 마이크로폰에 의해 수신된 오디오 신호, 상기 전자 디바이스의 위치, 및/또는 상기 객체 클래스의 이미지들을 시청하고 및/또는 상기 객체 클래스의 이미지들을 저장하는 사용자에 의해 나타나는 특정 객체 클래스의 이미지들에 대한 사용자의 관심인, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 16: 선행하는 어느 한 예제에 있어서,

사용자가 상기 기능에 익숙하다는 결정은 사용자가 상기 객체 클래스에 대한 기능에 익숙하다고 결정하는 것을 포함하고; 그리고

상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것은 상기 객체 클래스에 대한 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 17: 선행하는 어느 한 예제에 있어서, 상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자가 상기 기능 및 하루 중 시간에 익숙하다는 결정에 기초하여 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하도록 구성된, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 18: 선행하는 어느 한 예제에 있어서, 상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자가 상기 기능 및 컴퓨팅 시스템에 포함된 배터리의 충전 레벨에 익숙하다는 결정에 기초하여 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하도록 구성된, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 19: 선행하는 어느 한 예제에 있어서, 상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자가 상기 기능 및 컴퓨팅 시스템에 포함된 마이크로폰에 의해 수신된 오디오 신호에 익숙하다는 결정에 기초하여 상기 디스플레이된 이미지 내에서 분류의 분류 수행을 종료하게 하도록 구성된, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 20: 선행하는 어느 한 예제에 있어서,

상기 명령어들은 컴퓨팅 시스템으로 하여금 상기 객체 클래스의 제1 객체가 상기 디스플레이된 이미지 내에 존재한다고 결정한 후에 상기 제1 객체에 대한 이미지 검출을 수행하게 하도록 더 구성되며; 그리고

상기 디스플레이된 이미지 내에서 프롬프트를 제시하는 단계는 상기 디스플레이된 이미지 내에서 상기 제1 객체가 검출된 위치에 기초하여 상기 디스플레이된 이미지 내의 위치에 프롬프트를 제시하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 21: 선행하는 어느 한 예제에 있어서, 상기 명령어들은 상기 컴퓨팅 시스템으로 하여금:

다수의 추가 이미지들을 디스플레이하게 하고,

사용자가 상기 디스플레이된 다수의 추가 이미지들 중 일부들을 선택하지 않는 것에 기초하여, 사용자가 상기 기능에 더 이상 익숙하지 않다고 결정하게 하고, 그리고

사용자가 상기 기능에 더 이상 익숙하지 않다고 결정하는 것에 기초하여:

후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하게 하고;

상기 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 동안, 상기 객체 클래스의 후속 객체가 상기 후속으로 디스플레이되는 이미지 내에 존재하는지 결정하게 하고; 그리고

상기 후속으로 디스플레이되는 이미지 내에서 후속 프롬프트를 제시하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 22: 선행하는 어느 한 예제에 있어서,

상기 객체 클래스는 제1 객체 클래스를 포함하고;

상기 프롬프트는 제1 프롬프트를 포함하고;

상기 기능은 제1 기능을 포함하고; 그리고

상기 명령어들은 컴퓨터 시스템으로 하여금:

후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하게 하고;

상기 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 동안, 상기 후속으로 디스플레이되는 이미지 내에서 제2 객체 클래스의 제2 객체를 검출하게 하고, 상기 제2 객체 클래스는 상기 제1 객체 클래스와 상이하며;

상기 후속으로 디스플레이되는 이미지 내에서 제2 프롬프트를 제시하게 하고,

사용자로부터 상기 제2 객체의 선택을 수신하게 하고; 그리고

상기 제2 객체의 선택을 수신하는 것에 응답하여, 상기 제2 객체에 대해 제2 기능을 수행하게 하도록 구성되고, 상기 제2 기능은 상기 제1 기능과 상이한, 비일시적 컴퓨터 판독 가능 저장 매체.

예제 23: 컴퓨팅 시스템에 있어서,

적어도 하나의 프로세서; 및

예제 1 내지 예제 22 중 어느 한 예제의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨팅 시스템.

예제 24: 방법에 있어서,

컴퓨팅 시스템에 의해, 디스플레이된 이미지 내에서 이미지 분류를 수행하는 단계;

상기 이미지 분류를 수행하는 동안, 객체 클래스의 제1 객체가 상기 디스플레이된 이미지 내에 존재하는지 결정하는 단계;

상기 디스플레이된 이미지 내에서 프롬프트를 제시하는 단계;

사용자로부터 제1의 선택을 수신하는 단계;

상기 프롬프트의 선택을 수신하는 것에 응답하여, 상기 제1 객체에 대한 기능을 수행하는 단계;

상기 프롬프트의 선택에 기초하여, 사용자가 상기 기능에 익숙한지 결정하는 단계;

사용자가 상기 기능에 익숙하다는 결정에 기초하여, 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 단계; 및

사용자가 상기 디스플레이된 이미지 내에서 상기 객체 클래스의 제2 객체를 선택하는 것에 응답하여, 상기 제2 객체에 대한 기능을 수행하는 단계를 포함하는, 방법.

또한, 도면에 묘사된 논리 흐름은 원하는 결과를 얻기 위해 표시된 특정 순서나 순차적 순서를 요구하지 않는다. 또한, 설명된 흐름으로부터 다른 단계가 제공되거나 단계가 제거될 수 있으며 다른 구성 요소들이 설명된 시스템에 추가되거나 제거될 수 있다. 따라서, 다른 실시예들은 다음 청구범위 내에 있다.

Claims (24)

1. 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서,
   상기 명령어들은 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금:
   디스플레이된 이미지 내에서 이미지 분류를 수행하게 하고;
   상기 이미지 분류를 수행하는 동안, 객체 클래스의 제1 객체가 상기 디스플레이된 이미지 내에 존재하는지 결정하게 하고;
   상기 디스플레이된 이미지 내에서 프롬프트를 제시하게 하고;
   상기 프롬프트에 대한 응답으로 사용자로부터 상기 제1 객체의 선택을 수신하게 하고;
   상기 제1 객체의 선택을 수신하는 것에 응답하여, 상기 제1 객체에 대한 기능을 수행하게 하고;
   상기 프롬프트에 대한 응답으로 상기 제1 객체의 선택에 기초하여, 사용자가 상기 기능에 익숙한지 결정하게 하고;
   사용자가 상기 기능에 익숙하다는 결정에 기초하여, 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하고; 그리고
   사용자가 상기 디스플레이된 이미지 내에서 상기 객체 클래스의 제2 객체를 선택하는 것에 응답하여, 상기 제2 객체에 대한 기능을 수행하게 하도록 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.
2. 제1항에 있어서,
   상기 제1 객체에 대한 기능을 수행하는 단계는 상기 디스플레이된 이미지에 대한 로컬 이미지 인식 기능을 수행하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
3. 제1항 또는 제2항에 있어서,
   상기 제1 객체에 대한 기능을 수행하는 단계는:
   상기 디스플레이된 이미지를 서버로 전송하는 단계; 및
   상기 서버로부터 변형된 객체를 수신하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
4. 선행하는 어느 한 항에 있어서,
   상기 객체 클래스는 텍스트를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
5. 제4항에 있어서,
   상기 기능은 상기 제1 객체에 대한 광학 문자 인식을 수행하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
6. 선행하는 어느 한 항에 있어서,
   상기 객체 클래스는 바코드를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
7. 제6항에 있어서,
   상기 기능은 상기 제1 객체를 디코딩하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
8. 선행하는 어느 한 항에 있어서,
   상기 객체 클래스는 인간을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
9. 제8항에 있어서,
   상기 기능은 상기 제1 객체와 연관된 이름을 결정하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
10. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 컴퓨팅 시스템으로 하여금 컴퓨팅 시스템의 위치에 기초하여 상기 객체 클래스를 결정하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.
11. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자에 의해 이전에 시청된 이미지들에 기초하여 상기 객체 클래스를 결정하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.
12. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 컴퓨팅 시스템으로 하여금 객체가 전자 디바이스가 기능을 수행할 수 있는 객체 클래스인지 여부를 결정하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.
13. 선행하는 어느 한 항에 있어서,
    익숙도 결정기에 의한 익숙도의 결정은 객체의 선택 횟수, 특히 사전 결정된 시간 간격 및/또는 객체의 디스플레이와 선택 사이의 시간, 특히 익숙도 값이 생성되는 시간에서 객체의 선택 횟수에 의존하는, 비일시적 컴퓨터 판독 가능 저장 매체.
14. 제13항에 있어서,
    상기 익숙도 결정기는 익숙도 값에 대해 사전 결정된 제1 임계값에 도달하면 상기 분류의 종료를 제어하고, 상기 익숙도 값에 대해 사전 결정된 제2 임계값에 도달하면 상기 분류의 재개를 제어하는, 비일시적 컴퓨터 판독 가능 저장 매체.
15. 제13항 또는 제14항에 있어서,
    컨텍스트 프로세서는 이미지 분류를 수행할지 여부 및/또는 프롬프트를 제시할지 여부를 결정하기 위해 상기 전자 디바이스가 익숙도 값과 결합할 수 있는 컨텍스트 정보를 프로세싱하고, 상기 컨텍스트 정보는 특히 상기 전자 디바이스에 포함된 배터리의 충전 레벨, 하루 중 시간, 상기 전자 디바이스에 포함된 마이크로폰에 의해 수신된 오디오 신호, 상기 전자 디바이스의 위치, 및/또는 상기 객체 클래스의 이미지들을 시청하고 및/또는 상기 객체 클래스의 이미지들을 저장하는 사용자에 의해 나타나는 특정 객체 클래스의 이미지들에 대한 사용자의 관심인, 비일시적 컴퓨터 판독 가능 저장 매체.
16. 선행하는 어느 한 항에 있어서,
    사용자가 상기 기능에 익숙하다는 결정은 사용자가 상기 객체 클래스에 대한 기능에 익숙하다고 결정하는 것을 포함하고; 그리고
    상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것은 상기 객체 클래스에 대한 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
17. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자가 상기 기능 및 하루 중 시간에 익숙하다는 결정에 기초하여 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하도록 구성된, 비일시적 컴퓨터 판독 가능 저장 매체.
18. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자가 상기 기능 및 컴퓨팅 시스템에 포함된 배터리의 충전 레벨에 익숙하다는 결정에 기초하여 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하도록 구성된, 비일시적 컴퓨터 판독 가능 저장 매체.
19. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 컴퓨팅 시스템으로 하여금 사용자가 상기 기능 및 컴퓨팅 시스템에 포함된 마이크로폰에 의해 수신된 오디오 신호에 익숙하다는 결정에 기초하여 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하게 하도록 구성된, 비일시적 컴퓨터 판독 가능 저장 매체.
20. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 컴퓨팅 시스템으로 하여금 상기 객체 클래스의 제1 객체가 상기 디스플레이된 이미지 내에 존재한다고 결정한 후에 상기 제1 객체에 대한 이미지 검출을 수행하게 하도록 더 구성되며; 그리고
    상기 디스플레이된 이미지 내에서 프롬프트를 제시하는 단계는 상기 디스플레이된 이미지 내에서 상기 제1 객체가 검출된 위치에 기초하여 상기 디스플레이된 이미지 내의 위치에 프롬프트를 제시하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
21. 선행하는 어느 한 항에 있어서,
    상기 명령어들은 상기 컴퓨팅 시스템으로 하여금:
    다수의 추가 이미지들을 디스플레이하게 하고,
    사용자가 상기 디스플레이된 다수의 추가 이미지들 중 일부들을 선택하지 않는 것에 기초하여, 사용자가 상기 기능에 더 이상 익숙하지 않다고 결정하게 하고, 그리고
    사용자가 상기 기능에 더 이상 익숙하지 않다고 결정하는 것에 기초하여:
    후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하게 하고;
    상기 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 동안, 상기 객체 클래스의 후속 객체가 상기 후속으로 디스플레이되는 이미지 내에 존재하는지 결정하게 하고; 그리고
    상기 후속으로 디스플레이되는 이미지 내에서 후속 프롬프트를 제시하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.
22. 선행하는 어느 한 항에 있어서,
    상기 객체 클래스는 제1 객체 클래스를 포함하고;
    상기 프롬프트는 제1 프롬프트를 포함하고;
    상기 기능은 제1 기능을 포함하고; 그리고
    상기 명령어들은 컴퓨터 시스템으로 하여금:
    후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하게 하고;
    상기 후속으로 디스플레이되는 이미지 내에서 이미지 분류를 수행하는 동안, 상기 후속으로 디스플레이되는 이미지 내에서 제2 객체 클래스의 제2 객체를 검출하게 하고, 상기 제2 객체 클래스는 상기 제1 객체 클래스와 상이하며;
    상기 후속으로 디스플레이되는 이미지 내에서 제2 프롬프트를 제시하게 하고,
    사용자로부터 상기 제2 객체의 선택을 수신하게 하고; 그리고
    상기 제2 객체의 선택을 수신하는 것에 응답하여, 상기 제2 객체에 대해 제2 기능을 수행하게 하도록 구성되고, 상기 제2 기능은 상기 제1 기능과 상이한, 비일시적 컴퓨터 판독 가능 저장 매체.
23. 컴퓨팅 시스템에 있어서,
    적어도 하나의 프로세서; 및
    제1항 내지 제22항 중 어느 한 항의 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨팅 시스템.
24. 방법에 있어서,
    컴퓨팅 시스템에 의해, 디스플레이된 이미지 내에서 이미지 분류를 수행하는 단계;
    상기 이미지 분류를 수행하는 동안, 객체 클래스의 제1 객체가 상기 디스플레이된 이미지 내에 존재하는지 결정하는 단계;
    상기 디스플레이된 이미지 내에서 프롬프트를 제시하는 단계;
    사용자로부터 제1의 선택을 수신하는 단계;
    상기 프롬프트의 선택을 수신하는 것에 응답하여, 상기 제1 객체에 대한 기능을 수행하는 단계;
    상기 프롬프트의 선택에 기초하여, 사용자가 상기 기능에 익숙한지 결정하는 단계;
    사용자가 상기 기능에 익숙하다는 결정에 기초하여, 상기 디스플레이된 이미지 내에서 이미지 분류의 수행을 종료하는 단계; 및
    사용자가 상기 디스플레이된 이미지 내에서 상기 객체 클래스의 제2 객체를 선택하는 것에 응답하여, 상기 제2 객체에 대한 기능을 수행하는 단계를 포함하는, 방법.

Images