KR20220016522A

KR20220016522A - 차량 점유율 확인을 위한 방법들 및 시스템들

Info

Publication number: KR20220016522A
Application number: KR1020227002382A
Authority: KR
Inventors: 조슈아 허바흐
Original assignee: 웨이모 엘엘씨
Priority date: 2017-07-11
Filing date: 2018-06-27
Publication date: 2022-02-09
Anticipated expiration: 2038-06-27
Also published as: JP2020527774A; AU2022209361A1; CN110869259B; US11892842B2; EP3625096A1; US20190018411A1; CN115675192A; CA3068433A1; JP6976358B2; CA3068433C; US20190361444A1; CA3145849A1; AU2018301762B2; KR102291558B1; US10416671B2; SG10202110088WA; WO2019013980A1; KR20200005684A; KR20210102501A; JP2022020766A

Abstract

예시적인 구현들은 차량 점유율 확인과 관련된다. 예시적인 구현은, 차량 내측에 포지셔닝되는 카메라로부터 컴퓨팅 시스템에서, 차량 내의 점유율을 나타내는 이미지를 수신하는 것을 수반한다. 이 구현은, 이미지를 수신하는 것에 응답하여, 이미지를 디스플레이 인터페이스 상에 디스플레이하는 것, 및 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 오퍼레이터 입력을 수신하는 것을 더 수반한다. 이 구현은, 컴퓨팅 시스템으로부터의 점유율 확인을 차량에 송신하는 것을 부가적으로 포함한다. 일부 경우들에서, 점유율 확인을 수신하는 것에 응답하여, 차량은 자율 드라이빙 동작을 실행한다.

Description

차량 점유율 확인을 위한 방법들 및 시스템들{METHODS AND SYSTEMS FOR VEHICLE OCCUPANCY CONFIRMATION}

관련 출원들에 대한 상호 참조

본 특허 출원은 2017년 7월 11일자로 출원된 미국 가특허 출원 제62/531,152호 및 2017년 8월 18일자로 출원된 미국 특허 출원 제15/681,041호에 대한 우선권을 주장하고, 그 각각의 전체 내용은 이로써 참조로 포함된다.

차량들은, 객체 및 사람 수송을 포함하는 다양한 타입들의 태스크들을 완료하는 데 사용된다. 기술의 진보들에 따라, 일부 차량들은 차량들이 부분 또는 완전 자율 모드에서 동작하는 것을 가능하게 하는 시스템들로 구성된다. 부분 또는 완전 자율 모드에서 동작할 때, 차량 동작의 내비게이션 양태들의 일부 또는 전부는 전통적인 인간 운전자보다는 오히려 차량 제어 시스템에 의해 제어된다. 차량의 자율 동작은, 컴퓨팅 시스템이 원하는 목적지들에 도달하기 위해 내비게이팅 루트들을 계획하고 안전하게 실행하는 것을 가능하게 하도록 차량의 주변 환경을 감지하는 시스템들을 수반할 수 있다.

예시적인 구현들은 차량 점유율 확인(vehicle occupancy confirmation)과 관련된다. 자율 또는 반자율 동작이 가능한 차량은 차량 센서들로부터의 주변 환경의 센서 측정치들을 사용하여 승객들을 원하는 목적지들로 안전하게 수송할 수도 있다. 자율 동작은 차량이 대리운전 서비스와 유사한 방식으로 수송을 제공하는 것을 가능하게 할 수 있기 때문에, 차량의 차량 제어 시스템(또는 다른 시스템)이 차량의 현재 점유율이 원하는 점유율(예를 들어, 예상된 승객들의 수)을 충족시키는지 여부를 확인하는 것에 대한 보조를 요구하는 상황들이 발생할 수도 있다. 특히, 차량 제어 시스템과 다른 컴퓨팅 시스템 사이의 통신은 인간 오퍼레이터(human operator)가 컴퓨팅 시스템을 사용하여 차량의 내부를 묘사하는 이미지들 그리고 잠재적으로는 카메라들 및 차량의 다른 센서들에 의해 캡처 및 제공되는 다른 정보를 뷰잉하는 것을 가능하게 할 수도 있다. 차량으로부터 이미지들 및 다른 정보를 수신하는 컴퓨팅 시스템은 오퍼레이터가 차량의 현재 점유율이 원하는 점유율을 충족시킨다는 것을 확인할 수 있는 오퍼레이터 입력을 제공하는 것을 추가로 가능하게 할 수도 있다. 오퍼레이터의 컴퓨팅 시스템으로부터 차량 제어 시스템에서 오퍼레이터 입력을 수신할 때, 차량은 이에 응답하여 자율 동작 또는 일련의 동작들을 실행할 수도 있다.

일 양태에서, 예시적인 방법이 제공된다. 이 방법은, 차량 내측에 포지셔닝되는 카메라로부터 컴퓨팅 시스템에서, 차량 내의 점유율을 나타내는 이미지를 수신하는 단계, 및 이미지를 수신하는 단계에 응답하여, 컴퓨팅 시스템에 의해, 이미지를 디스플레이 인터페이스 상에 디스플레이하는 단계를 포함할 수도 있다. 이 방법은, 컴퓨팅 시스템에서, 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 오퍼레이터 입력을 수신하는 단계, 및 컴퓨팅 시스템으로부터의 점유율 확인을 차량에 송신하는 단계를 더 포함할 수도 있다. 점유율 확인을 수신하는 것에 응답하여, 일부 경우들에서, 차량은 자율 드라이빙 동작을 실행한다.

다른 양태에서, 예시적인 시스템이 제공된다. 이 시스템은, 차량, 컴퓨팅 시스템, 비일시적 컴퓨터 판독가능 매체, 및 차량 내측에 포지셔닝되는 카메라로부터, 차량 내의 점유율을 나타내는 이미지를 수신하고, 이미지를 수신하는 것에 응답하여, 이미지를 디스플레이 인터페이스 상에 디스플레이하도록 컴퓨팅 시스템에 의해 실행가능한 비일시적 컴퓨터 판독가능 매체 상에 저장되는 프로그램 명령어들을 포함할 수도 있다. 프로그램 명령어들은 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 오퍼레이터 입력을 수신하고, 점유율 확인을 차량에 송신하도록 컴퓨팅 시스템에 의해 추가로 실행가능하다. 일부 경우들에서, 점유율 확인을 수신하는 것에 응답하여, 차량은 자율 드라이빙 동작을 실행한다.

또 다른 예에서, 컴퓨팅 시스템으로 하여금 기능들을 수행하게 하도록 컴퓨팅 시스템에 의해 실행가능한 프로그램 명령어들을 내부에 저장하는 예시적인 비일시적 컴퓨터 판독가능 매체가 제공된다. 기능들은, 차량 내측에 포지셔닝되는 카메라로부터, 차량 내의 점유율을 나타내는 이미지를 수신하는 것, 및 이미지를 수신하는 것에 응답하여, 이미지를 디스플레이 인터페이스 상에 디스플레이하는 것을 포함할 수도 있다. 기능들은, 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 오퍼레이터 입력을 수신하는 것, 및 점유율 확인을 차량에 송신하는 것을 더 포함할 수도 있다. 일부 경우들에서, 점유율 확인을 수신하는 것에 응답하여, 차량은 자율 드라이빙 동작을 실행한다.

추가의 양태에서, 차량 점유율 확인을 위한 수단을 갖는 다른 예시적인 시스템이 제공된다. 이 시스템은, 차량 내측에 포지셔닝되는 카메라로부터, 차량 내의 점유율을 나타내는 이미지를 수신하는 수단, 및 이미지를 수신하는 것에 응답하여 이미지를 디스플레이 인터페이스 상에 디스플레이하는 수단을 포함할 수도 있다. 이 시스템은, 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 오퍼레이터 입력을 수신하는 수단, 및 점유율 확인을 차량에 송신하는 수단을 또한 포함할 수도 있다. 점유율 확인을 수신하는 것에 응답하여, 일부 경우들에서, 차량은 자율 드라이빙 동작을 실행한다.

전술한 요약은 단지 예시적인 것이고 어떠한 방식으로든 제한하려는 것으로 의도된 것이 아니다. 상술된 예시적인 양태들, 실시예들, 및 피처들에 부가적으로, 도면들 및 다음의 상세한 설명을 참조하여 추가의 양태들, 실시예들, 및 피처들이 명백해질 것이다.

도 1은 예시적인 구현들에 따른, 차량을 예시하는 기능 블록도이다.
도 2는 예시적인 구현들에 따른, 차량의 물리적 구성의 개념적 예시이다.
도 3a는 예시적인 구현들에 따른, 자율 차량과 관련된 다양한 컴퓨팅 시스템들 사이의 무선 통신의 개념적 예시이다.
도 3b는 예시적인 구현들에 따른, 컴퓨팅 시스템의 컴포넌트들을 묘사하는 단순화된 블록도를 도시한다.
도 4는 예시적인 구현들에 따른, 차량 점유율 확인을 위한 방법의 흐름도이다.
도 5는 예시적인 구현들에 따른, 차량의 내부의 개념적 예시이다.
도 6은 예시적인 구현들에 따른, 차량의 내부의 다른 개념적 예시이다.
도 7은 예시적인 구현들에 따른, 차량의 외부의 개념적 예시이다.
도 8은 예시적인 구현들에 따른, 컴퓨터 프로그램의 개략도이다.

다음의 상세한 설명에서, 본 명세서의 일부를 형성하는 첨부 도면들이 참조된다. 도면들에서, 유사한 심볼들은 전형적으로, 문맥상 달리 나타내지 않는 한, 유사한 컴포넌트들을 식별한다. 상세한 설명, 도면들, 및 청구범위에서 설명되는 예시적인 실시예들은 제한하려는 것으로 의도된 것이 아니다.

본 명세서에 제시된 요지의 범주로부터 벗어남이 없이, 다른 실시예들이 이용될 수도 있고, 다른 변경들이 행해질 수도 있다. 본 개시내용의 양태들은, 일반적으로 본 명세서에서 설명되고 도면들에 예시되는 바와 같이, 매우 다양한 상이한 구성들로 배열, 치환, 조합, 분리, 및 설계될 수 있고, 그 모두는 본 명세서에서 명시적으로 고려된다는 것이 쉽게 이해될 것이다.

상기에 논의된 바와 같이, 컴퓨팅, 센서들 및 다른 기술들의 최근 진보들로 인해 차량들이 운전자로부터의 입력을 요구하는 일 없이 위치들 사이에서 자율적으로 내비게이팅하는 것이 가능하게 되었다. 거의 실시간으로 차량 센서들로부터의 주변 환경의 측정치들을 프로세싱함으로써, 자율 차량은 장애물들을 회피하고 교통 요구사항들을 준수하면서 위치들 사이에서 승객들 또는 객체들을 수송할 수 있다. 차량 제어 시스템으로의 차량의 제어의 시프트는 승객들이 드라이빙 이외의 태스크들에 주의를 기울이는 것을 가능하게 한다.

자율 차량들의 증가는 차량 공유의 사용 증가에 기여하였다. 차량 공유는 종종, 잠재적인 승객들로부터의 요청들을 수신하고 작은 요금의 대가로 인근의 차량들을 파견하여 승객들을 위치결정(locate)하고 픽업하고 승객들에게 1회성 탑승(one-time ride)들을 제공하도록 구성되는 전체 시스템에 의해 중앙집중식으로 관리되는 차량들의 차량군(fleet)을 수반할 수 있다.

차량군 내에서, 각각의 차량은 승객들로부터의 탑승들에 대한 요청들을 이행할 수도 있다. 예를 들어, 승객은 스마트폰 애플리케이션 또는 다른 컴퓨팅 디바이스를 사용하여, 차량들의 차량군을 관리하는 시스템에 요청을 제출할 수도 있다. 요청은, 승객의 현재 위치, 수송을 받을 계획인 승객들의 양, 및 차량이 승객들을 하차시키기 위한 하나 이상의 원하는 목적지들과 같은, 시스템이 요청을 완료하는 것을 보조하기 위한 정보를 포함할 수도 있다. 요청을 수신하는 것에 응답하여, 시스템은, 승객의 현재 위치로 신속하게 이동하고 이에 따라 승객 또는 승객들을 하나 이상의 원하는 목적지들로 자율적으로 수송할 수 있는 차량군 내의 차량을 식별 및 파견할 수도 있다. 탑승 요청을 완료한 후에, 차량은 이에 후속하여 다른 승객들에 대한 수송을 제공하기 위해 파견될 수도 있다.

차량 공유 차량군의 일부로서 동작하든 또는 독립적으로 동작하든 간에, 자율 또는 반자율 동작이 가능한 차량은 차량의 차량 제어 시스템이 부가적인 보조를 요구하는 일부 상황들에 직면할 수도 있다. 특히, 차량 제어 시스템이 차량의 현재 점유율이 원하는 점유율을 충족시키는지 또는 아닌지의 여부를 확인하는 것에 대한 보조를 요구하는 상황들이 발생할 수 있다. 예를 들어, 차량 제어 시스템은, 승객들에 대한 수송을 제공하기에 앞서 올바른 수의 승객들이 차량 내측에 현재 포지셔닝되고 수송을 위한 준비가 되어 있다는 것(예를 들어, 좌석들에서 버클이 채워져 있다는 것)을 확인하는 것에 대한 보조를 요청할 수도 있다. 그러한 상황에서, 올바른 수의 승객들(즉, 원하는 점유율)은, 원래 수송 요청 또는 승객에 의해 제출된 다른 입력, 차량 내에서 이용가능한 좌석들의 수, 및/또는 다른 잠재적인 파라미터들에 의존할 수도 있다.

일부 구현들에서, 보조를 받기 위해, 차량 제어 시스템은 다른 컴퓨팅 시스템 또는 다수의 다른 컴퓨팅 시스템들에게 보조 요청(request for assistance)을 송신할 수도 있다. 특히, 보조 요청은 컴퓨팅 시스템 또는 그 컴퓨팅 시스템을 사용하는 인간 오퍼레이터가 보조를 제공하도록 요구할 수도 있다. 예를 들어, 차량 제어 시스템이 차량의 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 것에 대한 보조를 요구하는 상황에서, 차량 제어 시스템은, 컴퓨팅 시스템 또는 인간 오퍼레이터가 차량의 점유율이 원하는 점유율을 충족시키는지 또는 아닌지의 여부를 확인하는 것을 가능하게 할 수 있는 차량 센서들로부터의 이미지들 또는 다른 센서 데이터와 함께 보조 요청을 제출할 수도 있다.

예로서, 보조 요청은, 차량 내측의 임의의 객체들 또는 승객들을 포함하는 차량의 내부를 묘사하는 이미지들을 포함할 수도 있고, 차량 제어 시스템에 의해 초기에 결정된 대로 차량에 X명의 승객들이 있는지 여부를 확인하기 위해 컴퓨팅 시스템 또는 인간 오퍼레이터에게 묻는 질문을 또한 포함할 수도 있다. 다른 예들에서, 차량 제어 시스템은 차량 제어 시스템에 의해 이전에 결정된 초기 추정치를 제공하는 일 없이 승객들의 양을 결정하는 것에 대한 보조를 요청할 수도 있다. 예를 들어, 차량 제어 시스템은 "얼마나 많은 승객들이 차량 내측에 현재 포지셔닝되어 있습니까?"를 질의하는 보조 요청을 제공할 수도 있다. 차량 제어 시스템은 수송을 위한 차량을 사용하는 승객의 경험을 개선시키는 것을 돕기 위해 차량 제어 시스템이 이용할 수도 있는 다른 정보를 결정하는 것에 대한 보조를 또한 요청할 수도 있다.

일부 예들에서, 차량 제어 시스템은 보조를 받기 위해 차량으로부터 원격으로 포지셔닝되는 컴퓨팅 시스템과의 무선 통신에 관여할 수도 있다. 특히, 차량 제어 시스템은 무선 통신을 통해 이미지들 또는 다른 정보를 컴퓨팅 시스템에 제공할 수도 있는데, 이 컴퓨팅 시스템은 그 후에 소프트웨어를 이용하여 차량 제어 시스템을 보조하도록 구성될 수도 있다. 예를 들어, 컴퓨팅 시스템은 컴퓨터 비전을 사용하여 차량에 의해 제공되는 이미지들을 분석하여 차량을 현재 점유하고 있는 승객들의 수를 결정할 수도 있다. 다른 예들에서, 차량 제어 시스템은 보조를 받기 위해 유선 커넥션을 통해 하나 이상의 컴퓨팅 시스템들과 통신할 수도 있다. 예로서, 차량 제어 시스템은 차량 내측의 하나 또는 다수의 승객들로부터의 보조를 받기 위해 차량 내측에 포지셔닝되는 컴퓨팅 시스템과 통신할 수도 있다.

추가의 예들에서, 차량으로부터 차량의 내부를 묘사하는 이미지들 또는 다른 정보를 수신할 때, 컴퓨팅 시스템은, 인간 오퍼레이터가 차량 제어 시스템에 대한 보조를 검토하고 잠재적으로는 이를 컴퓨팅 시스템을 통해 제공하는 것을 가능하게 할 수 있는 그래픽 사용자 인터페이스를 사용하여, 이미지들 및 다른 정보를 디스플레이하도록 구성될 수도 있다. 용어 "인간 오퍼레이터"는 차량에 대한 어떤 형태의 보조를 제공하기 위해 차량의 내부를 묘사하는 이미지들 또는 차량에 의해 제공되는 다른 정보를 검토하기 위해 컴퓨팅 시스템을 사용할 수도 있는 임의의 사람을 나타낸다. 예를 들어, 인간 오퍼레이터는 차량의 현재 점유율이 차량이 현재 있는 상황에 대해 원하는 점유율을 충족시킨다는 것을 확인 또는 거부하기 위해 차량으로부터 정보를 수신하는 컴퓨팅 시스템을 이용할 수도 있다. 오퍼레이터 입력을 수신하는 것에 응답하여, 차량 정보를 디스플레이하도록 구성되는 컴퓨팅 시스템은, 입력에 기초하여 차량 제어 시스템이 이에 따라 진행하는 것을 가능하게 하기 위해 차량 제어 시스템에 오퍼레이터 입력을 또한 중계할 수도 있다.

예들 내에서, 상이한 이유들이 차량 제어 시스템으로 하여금 어떤 형태의 보조를 요청하게 할 수도 있다. 예를 들어, 상기에 표시된 바와 같이, 차량 제어 시스템은 차량이 미리 결정된 수의 승객들을 수송한다는 것을 보장하기 위한 프리-내비게이션 체크(pre-navigation check)로서 현재 점유율이 원하는 점유율을 충족시키는지를 확인하는 것에 대한 보조를 요청할 수도 있다.

유사하게, 다른 상황들에서, 차량 제어 시스템은 특정 위치에서 들어간 또는 나간 승객들의 수를 결정하기 위해 차량의 현재 점유율을 검토할 수도 있다. 예를 들어, 차량은 위치들 사이에서 3명의 승객들을 픽업하고 수송하라는 요청을 수신 및 수용할 수도 있다. 승객들을 초기에 픽업한 후에, 차량 제어 시스템은 차량이 승객들을 하나 또는 다수의 하차 위치들로 수송하기 시작하기 전에 3명의 승객들(즉, 원하는 점유율)이 실제로 차량을 현재 점유하고 있다는 것을 확인하는 것에 대한 보조 요청을 송신할 수도 있다. 차량 제어 시스템은 승객들 모두가 하차 위치 또는 위치들에서 차량에서 나갔다는 것을 확인하기 위해 하나 또는 다수의 후속 요청들을 또한 송신할 수도 있다.

일부 예시적인 구현들에서, 차량에 대한 원하는 점유율은 차량에 대한 현재 상황 또는 미래 상황에 따라 변할 수도 있다. 예를 들어, 원하는 점유율은, 자율 차량에 의해 원래 수용된 탑승 요청에 의존할 수도 있다. 더 구체적으로는, 탑승 요청은 수송을 원하는 승객들의 수 및 승객들의 하나 또는 다수의 각각의 위치들을 특정할 수도 있다. 이와 같이, 원하는 점유율은 특정된 위치 또는 위치들에서 차량 내에 들어가기로 되어 있는 승객들의 수를 반영할 수도 있다.

다른 예들에서, 차량 제어 시스템은, 차량이 자율 제어 전략을 개시하기에 앞서 적어도 하나의 승객이 주어진 위치에서 차량에 들어가도록 요구하는 원하는 점유율을 가질 수도 있다. 원하는 점유율은 차량 제어 시스템이 차량이 적어도 수송을 요청한 승객에 대한 수송을 제공하고 있다는 것을 보장하도록 구성될 수도 있다. 예로서, 차량 제어 시스템은 승객이 차량 내에 들어갈 때 승객 또는 차량 센서로부터 입력을 수신할 수도 있다. 입력이 승객의 존재를 표시하는 것에 응답하여, 차량 제어 시스템은 승객이 원하는 목적지로 수송될 준비가 되어 있다는 것을 확인하기 위해 보조를 이용할 수도 있다. 추가의 예들에서, 차량 제어 시스템은 점유율이 다른 잠재적인 요인들에 의존하는 원하는 점유율을 충족시키는지를 체크하도록 구성될 수도 있다.

추가의 예시적인 구현에서, 차량 제어 시스템은 수송을 제공하기에 앞서 특정 승객이 차량 내에 위치결정된다는 것을 결정하도록 구성될 수도 있다. 그 결과, 차량 제어 시스템은 하나 또는 다수의 승객들의 신원(identity)을 확인하는 것에 대한 보조를 요청할 수도 있다. 예를 들어, 차량 제어 시스템은, 올바른 승객이, 승객의 탑승 요청을 이행하기 위해 할당된 차량 내에 들어갔다는 것을 보장하도록 보조를 요구할 수도 있다.

일부 예들에서, 승객을 식별하는 것에 대한 보조를 얻기 위해, 차량 제어 시스템은 인간 오퍼레이터가 승객을 식별하는 것을 돕는 것을 가능하게 하기 위해 이미지들 또는 정보를 디스플레이할 수 있는 다른 컴퓨팅 시스템에 이미지들 또는 다른 정보를 제공할 수도 있다. 보조를 받는 것에 응답하여, 차량 제어 시스템은, 올바른 승객(즉, 수송을 요청한 승객)이 차량에 존재한다는 것을 확인하기 위해, 내비게이션 동작들 또는 하차 위치들을 결정하기 위해, 수송을 위한 지불을 용이하게 하기 위해, 또는 다른 가능한 이유들과 같은 다양한 이유들로 승객의 식별물(identification)을 사용할 수도 있다.

보조를 받는 것에 응답하여, 차량은 하나 또는 다수의 자율 동작들을 수행할 수도 있다. 특히, 자율 동작들은 상황, 제공된 확인 또는 보조, 또는 다른 파라미터들(예를 들어, 승객들의 양, 차량의 위치)에 따라 변할 수 있다. 일부 예들에서, 자율 동작은, 승객 또는 승객들을 하나 또는 다수의 타깃 위치들로 수송하는 것을 수반할 수도 있다. 그러한 상황에서, 차량은, 승객들을 요청된 원하는 목적지(들)로 안전하게 수송하는 것을 수반하는 내비게이션 동작들을 실행할 수도 있다. 추가의 예들에서, 차량 제어 시스템은 승객의 경험을 향상시키도록 차량의 현재 설정들(예를 들어, 음악, 온도)을 조정하기 위해 승객의 식별물을 이용할 수도 있다. 예를 들어, 차량 제어 시스템은 승객이 수송 동안 선호하는 특정 설정들을 특정하는 승객의 계정에 액세스할 수도 있다.

일부 예들에서, 차량 제어 시스템은 차량을 현재 점유하고 있는 승객들이 차량이 수송을 제공할 준비가 되어 있는지 또는 아닌지의 여부를 확인하기 위한 보조 요청을 제출할 수도 있다. 특히, 차량 제어 시스템은 승객들이 안전벨트(seatbelt)들을 사용하고 있는지 또는 아닌지의 여부를 확인하기 위해 컴퓨팅 시스템 또는 그 컴퓨팅 시스템을 이용하는 인간 오퍼레이터에 대한 요청을 제출할 수도 있다. 모든 승객들이 이동할 준비가 되어 있음(예를 들어, 앉아 있고 버클이 채워져 있음)을 표시하는 컴퓨팅 시스템으로부터의(또는 컴퓨팅 시스템을 통한 인간 오퍼레이터로부터의) 확인을 수신하는 것에 응답하여, 차량 제어 시스템은 수송을 개시할 수도 있다.

다른 예시적인 구현에서, 차량 제어 시스템은 차량에서 나간 모든 승객들이 차량 내측에 어떠한 아이템들(예를 들어, 지갑, 휴대폰, 및 가방)도 두고 가지 않았다는 것을 확인하기 위한 보조 요청을 제출할 수도 있다. 예를 들어, 차량 제어 시스템은 승객들이 차량으로부터의 수송을 받은 후에 차량에 어떠한 개인 소지품들도 두고 가지 않았다는 것을 확인하기 위한 인간 오퍼레이터로부터의 보조 요청을 제출할 수도 있다. 차량 제어 시스템은 인간 오퍼레이터(또는 컴퓨팅 시스템)가 최근 승객들이 두고 갔을 수도 있는 임의의 아이템들을 식별하는 것을 가능하게 할 수 있는 하나 또는 다수의 이미지들을 요청과 함께 컴퓨팅 시스템에 송신할 수도 있다. 승객들로부터 차량에 남은 아이템들이 없음을 표시하는 컴퓨팅 시스템(또는 그 컴퓨팅 시스템을 통한 인간 오퍼레이터)으로부터의 확인을 수신할 때, 차량 제어 시스템은 자율 동작을 개시할(예를 들어, 새로운 승객을 픽업하러 갈) 수도 있다.

추가의 예들에서, 차량 제어 시스템은 차량의 상태를 유지하는 것을 돕기 위해 보조를 이용할 수도 있다. 예를 들어, 차량 제어 시스템은 차량 내에서 하나 또는 다수의 승객들의 액션들 또는 거동을 모니터링하는 것에 대한 보조를 요청할 수도 있다. 차량 제어 시스템은, 인간 오퍼레이터가 차량을 점유하고 있는 승객들의 액션들 또는 거동을 뷰잉 및 모니터링하는 것을 가능하게 하는 이미지들 또는 비디오/오디오를 컴퓨팅 시스템에 제공할 수도 있다. 예를 들어, 차량 제어 시스템은 승객들 및 인간 오퍼레이터가 거의 실시간으로 통신하는 것을 가능하게 하도록 컴퓨팅 시스템과의 라이브 통신 세션을 확립할 수도 있다. 예로서, 차량 제어 시스템은 인간 오퍼레이터가 의료 시설로의 수송을 받는 승객을 모니터링하는 것을 가능하게 하도록 무선 통신 커넥션을 확립할 수도 있다. 그 예에서, 인간 오퍼레이터는 수송을 받는 승객에게 보조 또는 편의를 제공할 수도 있다. 다른 예에서, 차량 제어 시스템은 인간 오퍼레이터(예를 들어, 부모)가 차량을 현재 점유하고 있는 승객들(예를 들어, 학교로의 수송을 받는 부모의 자녀들)에 의한 활동들을 뷰잉하는 것을 가능하게 하도록 무선 통신 커넥션을 확립할 수도 있다.

본 개시내용의 범주 내의 예시적인 시스템들이 이제 보다 상세히 설명될 것이다. 예시적인 시스템은 자동차로 구현될 수도 있거나 또는 자동차의 형태를 취할 수도 있지만, 다른 예시적인 시스템들은 승용차들, 트럭들, 모터사이클들, 버스들, 보트들, 비행기들, 헬리콥터들, 잔디 깎는 기계(lawn mower)들, 흙 파는 기계(earth mover)들, 보트들, 설상차(snowmobile)들, 항공기, 레저용 차량들, 놀이 공원 차량들, 농기구, 건설 장비, 트램(tram)들, 골프 카트들, 기차들, 트롤리(trolley)들, 및 로봇 디바이스들과 같은 다른 차량들로 구현될 수 있거나 또는 다른 차량들의 형태를 취할 수 있다. 다른 차량들이 또한 가능하다.

이제 도면들을 참조하면, 도 1은 자율 모드에서 완전히 또는 부분적으로 동작하도록 구성될 수도 있는 예시적인 차량(100)을 예시하는 기능 블록도이다. 더 구체적으로는, 차량(100)은 컴퓨팅 시스템(즉, 차량 제어 시스템)으로부터 제어 명령어들을 수신하는 것을 통해 인간 상호작용 없이 자율 모드에서 동작할 수도 있다. 이와 같이, 차량(100)은 부가적인 검토를 요구하는 상황들에서 보조를 요구하도록 구성될 수도 있다.

자율 모드에서의 동작의 일부로서, 차량(100)은 센서들을 사용하여 주변 환경의 객체들을 검출하고 가능하다면 식별하여 안전한 내비게이션을 가능하게 할 수도 있다. 일부 구현들에서, 차량(100)은, 운전자가 차량(100)의 동작들을 제어하는 것을 가능하게 하는 서브시스템들을 또한 포함할 수도 있다.

도 1에 도시된 바와 같이, 차량(100)은 추진 시스템(102), 센서 시스템(104), 제어 시스템(106), 주변기기(들)(108), 전원(110), 컴퓨터 시스템(112), 데이터 스토리지(114), 및 사용자 인터페이스(116)와 같은 서브시스템들을 포함할 수도 있다. 다른 예들에서, 차량(100)은, 다수의 요소들을 각각 포함할 수 있는 보다 많은 또는 보다 적은 서브시스템들을 포함할 수도 있다.

차량(100)의 서브시스템들 및 컴포넌트들은 다양한 방식들로 상호연결될 수도 있다. 부가적으로, 본 명세서에서 설명되는 차량(100)의 기능들은 부가적인 기능적 또는 물리적 컴포넌트들로 분할될 수 있거나, 또는 구현들 내에서 보다 적은 기능적 또는 물리적 컴포넌트들로 조합될 수 있다.

추진 시스템(102)은, 차량(100)에 대해 전력공급하도록 동작가능한 컴포넌트(들)를 포함할 수도 있고, 다른 가능한 컴포넌트들 중에서도, 엔진/모터(118), 에너지 소스(119), 트랜스미션(120), 및 휠들/타이어들(121)을 포함할 수 있다. 예를 들어, 엔진/모터(118)는 에너지 소스(119)를 기계적 에너지로 변환할 수도 있다. 이와 같이, 엔진/모터(118)는, 다른 옵션들 중에서도, 내연 엔진(internal combustion engine), 전기 모터, 스팀 엔진, 또는 스털링 엔진(Stirling engine) 중 하나 또는 이들의 조합에 대응할 수 있다. 예를 들어, 추진 시스템(102)은, 가솔린 엔진 및 전기 모터 양측 모두와 같은 다수의 타입들의 엔진들/모터들을 포함할 수도 있다.

에너지 소스(119)는, 전체적으로 또는 부분적으로, 차량(100)의 하나 이상의 시스템들(예를 들어, 엔진/모터(118))에 전력공급할 수도 있는 에너지의 소스를 나타낸다. 예를 들어, 에너지 소스(119)는 가솔린, 디젤, 다른 석유 기반 연료들, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양 패널들, 배터리들, 및/또는 전기 전력의 다른 소스들에 대응할 수 있다. 일부 구현들에서, 에너지 소스(119)는 연료 탱크들, 배터리들, 커패시터들, 및/또는 플라이휠(flywheel)들의 조합을 포함할 수도 있다.

트랜스미션(120)은 엔진/모터(118)로부터의 기계적 동력을 휠들/타이어들(121) 및/또는 차량(100)의 다른 시스템들에게 송신할 수도 있다. 이와 같이, 트랜스미션(120)은, 다른 가능한 컴포넌트들 중에서도, 기어박스, 클러치, 차동기(differential), 및 드라이브 샤프트를 포함할 수도 있다. 드라이브 샤프트는, 하나 이상의 휠들/타이어들(121)에 연결되는 차축을 포함할 수도 있다.

차량(100)의 휠들/타이어들(121)은 다양한 구성들을 가질 수도 있다. 예를 들어, 차량(100)은, 다른 가능한 구성들 중에서도, 외발 자전거, 두발 자전거/모터사이클, 세발 자전거, 또는 승용차/트럭 4-휠 포맷으로 존재할 수도 있다. 이와 같이, 휠들/타이어들(121)은 다양한 방식들로 차량(100)에 연결될 수도 있고 금속 및 고무와 같은 상이한 재료들로 존재할 수 있다.

센서 시스템(104)은, 다른 것들 중에서도, 글로벌 포지셔닝 시스템(Global Positioning System)(GPS)(122), 관성 측정 유닛(inertial measurement unit)(IMU)(124), 레이더(126), 레이저 거리 측정기(laser rangefinder)/LIDAR(128), 카메라(130), 스티어링 센서(123), 및 스로틀/브레이크 센서(125)와 같은 다양한 타입들의 센서들을 포함할 수 있다. 센서 시스템(104)은, 차량(100)의 내부 시스템들(예를 들어, O₂ 모니터, 연료 게이지, 엔진 오일 온도, 브레이크들 마모)을 모니터링하도록 구성되는 센서들을 또한 포함할 수도 있다.

GPS(122)는, 지구에 대한 차량(100)의 포지션에 관한 정보를 제공하도록 동작가능한 트랜시버를 포함할 수도 있다. IMU(124)는 하나 이상의 가속도계들 및/또는 자이로스코프들을 사용하는 구성을 가질 수도 있고, 관성 가속도에 기초하여 차량(100)의 포지션 및 배향 변경들을 감지할 수도 있다. 예를 들어, IMU(124)는 차량(100)이 고정되거나 또는 움직이는 동안 차량(100)의 피치(pitch) 및 요(yaw)를 검출할 수도 있다.

레이더(126)는, 차량(100)의 로컬 환경 내에서, 객체들의 속도 및 헤딩(heading)을 포함하여, 객체들을 감지하기 위해 라디오 신호들을 사용하도록 구성되는 시스템들을 나타낼 수도 있다. 이와 같이, 레이더(126)는, 라디오 신호들을 송신 및 수신하도록 구성되는 안테나들을 포함할 수도 있다. 일부 구현들에서, 레이더(126)는, 차량(100)의 주변 환경의 측정치들을 획득하도록 구성되는 장착가능 레이더 시스템에 대응할 수도 있다.

레이저 거리 측정기/LIDAR(128)는, 다른 시스템 컴포넌트들 중에서도, 하나 이상의 레이저 소스들, 레이저 스캐너, 및 하나 이상의 검출기들을 포함할 수도 있고, (예를 들어, 헤테로다인 검출을 사용하는) 간섭성 모드(coherent mode)에서 또는 비간섭성 검출 모드에서 동작할 수도 있다. 카메라(130)는, 차량(100)의 환경의 이미지들을 캡처하도록 구성되는 하나 이상의 디바이스들(예를 들어, 스틸 카메라 또는 비디오 카메라)을 포함할 수도 있다.

스티어링 센서(123)는, 스티어링 휠의 각도를 측정하는 것 또는 스티어링 휠의 각도를 대표하는 전기 신호를 측정하는 것을 수반할 수도 있는, 차량(100)의 스티어링 각도를 감지할 수도 있다. 일부 구현들에서, 스티어링 센서(123)는, 차량(100)의 전방 축에 대한 휠들의 각도를 검출하는 것과 같이, 차량(100)의 휠들의 각도를 측정할 수도 있다. 스티어링 센서(123)는 스티어링 휠의 각도, 스티어링 휠의 각도를 나타내는 전기 신호, 및 차량(100)의 휠들의 각도의 조합(또는 서브세트)을 측정하도록 또한 구성될 수도 있다.

스로틀/브레이크 센서(125)는 차량(100)의 스로틀 포지션 또는 브레이크 포지션 중 어느 하나의 포지션을 검출할 수도 있다. 예를 들어, 스로틀/브레이크 센서(125)는 가스 페달(스로틀) 및 브레이크 페달 양측 모두의 각도를 측정할 수도 있거나, 또는, 예를 들어, 가스 페달(스로틀)의 각도 및/또는 브레이크 페달의 각도를 나타낼 수 있는 전기 신호를 측정할 수도 있다. 스로틀/브레이크 센서(125)는, 엔진/모터(118)에 에너지 소스(119)의 변조를 제공하는 물리적 메커니즘(예를 들어, 버터플라이 밸브 또는 기화기(carburetor))의 일부를 포함할 수도 있는, 차량(100)의 스로틀 보디의 각도를 또한 측정할 수도 있다.

부가적으로, 스로틀/브레이크 센서(125)는 차량(100)의 로터 상의 하나 이상의 브레이크 패드들의 압력 또는 가스 페달(스로틀) 및 브레이크 페달의 각도, 가스 페달(스로틀) 및 브레이크 페달의 각도를 나타내는 전기 신호, 스로틀 보디의 각도, 및 적어도 하나의 브레이크 패드가 차량(100)의 로터에 가하고 있는 압력의 조합(또는 서브세트)을 측정할 수도 있다. 다른 실시예들에서, 스로틀/브레이크 센서(125)는, 스로틀 또는 브레이크 페달과 같은, 차량의 페달에 가해지는 압력을 측정하도록 구성될 수도 있다.

제어 시스템(106)은, 스티어링 유닛(132), 스로틀(134), 브레이크 유닛(136), 센서 융합 알고리즘(138), 컴퓨터 비전 시스템(140), 내비게이션/경로지정 시스템(142), 및 장애물 회피 시스템(144)과 같은, 차량(100)을 내비게이팅하는 것을 보조하도록 구성되는 컴포넌트들을 포함할 수도 있다. 더 구체적으로는, 스티어링 유닛(132)은 차량(100)의 헤딩을 조정하도록 동작가능할 수도 있고, 스로틀(134)은 엔진/모터(118)의 동작 속도를 제어하여 차량(100)의 가속도를 제어할 수도 있다. 브레이크 유닛(136)은 차량(100)을 감속시킬 수도 있는데, 이는 마찰을 사용하여 휠들/타이어들(121)을 감속시키는 것을 수반할 수도 있다. 일부 구현들에서, 브레이크 유닛(136)은 휠들/타이어들(121)의 운동 에너지를 차량(100)의 시스템 또는 시스템들에 의한 후속 사용을 위해 전류로 변환할 수도 있다.

센서 융합 알고리즘(138)은 칼만 필터(Kalman filter), 베이지안 네트워크(Bayesian network), 또는 센서 시스템(104)으로부터의 데이터를 프로세싱할 수 있는 다른 알고리즘들을 포함할 수도 있다. 일부 구현들에서, 센서 융합 알고리즘(138)은, 개별 객체들 및/또는 피처들의 평가들, 특정 상황의 평가들, 및/또는 주어진 상황 내의 잠재적인 영향들의 평가들과 같은, 인커밍 센서 데이터에 기초하는 평가들을 제공할 수도 있다.

컴퓨터 비전 시스템(140)은, 객체들, 환경 객체들(예를 들어, 정지 신호등들, 차도 경계들 등), 및 장애물들을 결정하기 위한 노력으로 이미지들을 프로세싱 및 분석하도록 동작가능한 하드웨어 및 소프트웨어를 포함할 수도 있다. 이와 같이, 컴퓨터 비전 시스템(140)은, 예를 들어, 객체들을 인식하는 것, 환경을 매핑시키는 것, 객체들을 추적하는 것, 객체들의 속도를 추정하는 것 등을 위해, 객체 인식, SFM(Structure from Motion), 비디오 추적, 및 컴퓨터 비전에 사용되는 다른 알고리즘들을 사용할 수도 있다.

내비게이션/경로지정 시스템(142)은 차량(100)에 대한 드라이빙 경로를 결정할 수도 있는데, 이는 동작 동안 내비게이션을 동적으로 조정하는 것을 수반할 수도 있다. 이와 같이, 내비게이션/경로지정 시스템(142)은 차량(100)을 내비게이팅하기 위해, 다른 소스들 중에서도, 센서 융합 알고리즘(138), GPS(122), 및 맵들로부터의 데이터를 사용할 수도 있다. 장애물 회피 시스템(144)은 센서 데이터에 기초하여 잠재적인 장애물들을 평가할 수도 있고, 차량(100)의 시스템들로 하여금 잠재적인 장애물들을 회피하게 하거나 또는 그렇지 않으면 이들과 협상하게 할 수도 있다.

도 1에 도시된 바와 같이, 차량(100)은 무선 통신 시스템(146), 터치스크린(148), 마이크로폰(150), 및/또는 스피커(152)와 같은 주변기기들(108)을 또한 포함할 수도 있다. 주변기기들(108)은 사용자가 사용자 인터페이스(116)와 상호작용하기 위한 컨트롤(control)들 또는 다른 요소들을 제공할 수도 있다. 예를 들어, 터치스크린(148)은 차량(100)의 사용자들에게 정보를 제공할 수도 있다. 사용자 인터페이스(116)는 터치스크린(148)을 통해 사용자로부터의 입력을 또한 수용할 수도 있다. 주변기기들(108)은 차량(100)이 다른 차량 디바이스들과 같은 디바이스들과 통신하는 것을 또한 가능하게 할 수도 있다.

무선 통신 시스템(146)은 직접적으로 또는 통신 네트워크를 통해 하나 이상의 디바이스들과 무선으로 통신할 수도 있다. 예를 들어, 무선 통신 시스템(146)은 3G 셀룰러 통신, 예컨대 CDMA, EVDO, GSM/GPRS, 또는 4G 셀룰러 통신들, 예컨대 WiMAX 또는 LTE를 사용할 수 있다. 대안적으로, 무선 통신 시스템(146)은 WiFi 또는 다른 가능한 커넥션들을 사용하여 무선 로컬 영역 네트워크(WLAN)와 통신할 수도 있다.

무선 통신 시스템(146)은 또한, 예를 들어, 적외선 링크, 블루투스, 또는 지그비(ZigBee)를 사용하여 디바이스와 직접적으로 통신할 수도 있다. 다양한 차량 통신 시스템들과 같은 다른 무선 프로토콜들이 본 개시내용의 맥락 내에서 가능하다. 예를 들어, 무선 통신 시스템(146)은, 차량들 및/또는 노변 스테이션(roadside station)들 사이의 공중 및/또는 사설 데이터 통신들을 포함할 수 있는 하나 이상의 전용 단거리 통신(dedicated short-range communications)(DSRC) 디바이스들을 포함할 수도 있다.

차량(100)은, 컴포넌트들에 전력공급하기 위한 전원(110)을 더 포함할 수도 있다. 전원(110)은 일부 구현들에서 재충전가능 리튬 이온 또는 납산 배터리를 포함할 수도 있다. 예를 들어, 전원(110)은, 전기 전력을 제공하도록 구성되는 하나 이상의 배터리들을 포함할 수도 있다. 차량(100)은 또한 다른 타입들의 전원들을 사용할 수도 있다. 예시적인 구현에서, 전원(110) 및 에너지 소스(119)는 단일 에너지 소스로 통합될 수도 있다.

차량(100)은, 본 명세서에서 설명되는 동작들과 같은 동작들을 수행하기 위한 컴퓨터 시스템(112)을 또한 포함할 수도 있다. 이와 같이, 컴퓨터 시스템(112)은, 데이터 스토리지(114)와 같은 비일시적 컴퓨터 판독가능 매체에 저장되는 명령어들(115)을 실행하도록 동작가능한 적어도 하나의 프로세서(113)(적어도 하나의 마이크로프로세서를 포함할 수 있음)를 포함할 수도 있다. 일부 구현들에서, 컴퓨터 시스템(112)은, 분산된 방식으로 차량(100)의 개별 컴포넌트들 또는 서브시스템들을 제어하도록 기능할 수도 있는 복수의 컴퓨팅 디바이스들을 나타낼 수도 있다.

일부 구현들에서, 데이터 스토리지(114)는, 도 1과 관련하여 상술된 것들을 포함하는, 차량(100)의 다양한 기능들을 실행하기 위해 프로세서(113)에 의해 실행가능한 명령어들(115)(예를 들어, 프로그램 로직)을 포함할 수도 있다. 데이터 스토리지(114)는, 추진 시스템(102), 센서 시스템(104), 제어 시스템(106), 및 주변기기들(108) 중 하나 이상으로 데이터를 송신하거나, 이들로부터 데이터를 수신하거나, 이들과 상호작용하거나, 그리고/또는 이들을 제어하기 위한 명령어들을 포함하는, 부가적인 명령어들을 또한 포함할 수도 있다.

명령어들(115)에 부가적으로, 데이터 스토리지(114)는, 다른 정보 중에서도, 차도 맵들, 경로 정보와 같은 데이터를 저장할 수도 있다. 그러한 정보는 자율, 반자율, 및/또는 수동 모드들에서 차량(100)의 동작 동안 차량(100) 및 컴퓨터 시스템(112)에 의해 사용될 수도 있다.

차량(100)은, 차량(100)의 사용자에게 정보를 제공하거나 또는 그 사용자로부터 입력을 수신하기 위한 사용자 인터페이스(116)를 포함할 수도 있다. 사용자 인터페이스(116)는 터치스크린(148) 상에 디스플레이될 수 있는 인터랙티브 이미지들의 콘텐츠 및/또는 레이아웃을 제어하거나 또는 이들의 제어를 가능하게 할 수도 있다. 추가로, 사용자 인터페이스(116)는, 무선 통신 시스템(146), 터치스크린(148), 마이크로폰(150), 및 스피커(152)와 같은, 주변기기들(108)의 세트 내의 하나 이상의 입/출력 디바이스들을 포함할 수 있다.

컴퓨터 시스템(112)은 사용자 인터페이스(116)로부터뿐만 아니라 다양한 서브시스템들(예를 들어, 추진 시스템(102), 센서 시스템(104), 및 제어 시스템(106))로부터 수신되는 입력들에 기초하여 차량(100)의 기능을 제어할 수도 있다. 예를 들어, 컴퓨터 시스템(112)은 추진 시스템(102) 및 제어 시스템(106)에 의해 생성되는 출력을 추정하기 위해 센서 시스템(104)으로부터의 입력을 이용할 수도 있다. 실시예에 따라, 컴퓨터 시스템(112)은 차량(100) 및 그의 서브시스템들의 많은 양태들을 모니터링하도록 동작가능할 수 있다. 일부 실시예들에서, 컴퓨터 시스템(112)은 센서 시스템(104)으로부터 수신되는 신호들에 기초하여 차량(100)의 일부 또는 모든 기능들을 디스에이블시킬 수도 있다.

차량(100)의 컴포넌트들은 이들의 각각의 시스템들 내의 또는 외측의 다른 컴포넌트들과 상호연결된 방식으로 작동하도록 구성될 수 있다. 예를 들어, 예시적인 실시예에서, 카메라(130)는 자율 모드에서 동작하는 차량(100)의 환경의 상태에 관한 정보를 나타낼 수 있는 복수의 이미지들을 캡처할 수 있다. 환경의 상태는, 차량이 동작하고 있는 도로의 파라미터들을 포함할 수 있다. 예를 들어, 컴퓨터 비전 시스템(140)은 차도의 복수의 이미지들에 기초하여 기울기(등급) 또는 다른 피처들을 인식하는 것이 가능할 수도 있다.

부가적으로, GPS(122)와 컴퓨터 비전 시스템(140)에 의해 인식되는 피처들의 조합은 특정 도로 파라미터들을 결정하기 위해 데이터 스토리지(114)에 저장되는 맵 데이터와 함께 사용될 수도 있다. 추가로, 레이더 유닛(126)은 차량의 주변들에 관한 정보를 또한 제공할 수도 있다. 다시 말해, 다양한 센서들(입력-표시 및 출력-표시 센서들로 지칭될 수 있음) 및 컴퓨터 시스템(112)의 조합은 차량의 주변들의 표시 또는 차량을 제어하기 위해 제공되는 입력의 표시를 제공하도록 상호작용할 수 있다.

일부 실시예들에서, 컴퓨터 시스템(112)은 라디오 시스템 이외의 시스템들에 의해 제공되는 데이터에 기초하여 다양한 객체들에 관한 결정을 행할 수도 있다. 예를 들어, 차량(100)은, 차량의 시야에서의 객체들을 감지하도록 구성되는 레이저들 또는 다른 광학 센서들을 가질 수도 있다. 컴퓨터 시스템(112)은 차량의 시야에서의 객체들에 관한 정보를 결정하기 위해 다양한 센서들로부터의 출력들을 사용할 수도 있고, 다양한 객체들에 대한 거리 및 방향 정보를 결정할 수도 있다. 컴퓨터 시스템(112)은 다양한 센서들로부터의 출력들에 기초하여 객체들이 바람직한지 또는 바람직하지 않은지 여부를 또한 결정할 수도 있다.

도 1은, 차량(100)에 통합되는 것으로, 차량(100)의 다양한 컴포넌트들, 즉, 무선 통신 시스템(146), 컴퓨터 시스템(112), 데이터 스토리지(114), 및 사용자 인터페이스(116)를 도시하지만, 이들 컴포넌트들 중 하나 이상은 차량(100)과는 별개로 장착 또는 연관될 수 있다. 예를 들어, 데이터 스토리지(114)는, 부분적으로 또는 전체적으로, 차량(100)으로부터 분리되어 존재할 수 있다. 따라서, 차량(100)은 별개로 또는 함께 위치결정될 수도 있는 디바이스 요소들의 형태로 제공될 수 있다. 차량(100)을 구성하는 디바이스 요소들은 유선 및/또는 무선 방식으로 함께 통신가능하게 커플링될 수 있다.

도 2는, 도 1을 참조하여 설명되는 차량(100)의 하나의 가능한 물리적 구성을 나타낼 수도 있는, 차량(200)의 예시적인 물리적 구성을 묘사한다. 실시예에 따라, 차량(200)은, 다른 가능한 컴포넌트들 중에서도, 센서 유닛(202), 무선 통신 시스템(204), 라디오 유닛(206), 디플렉터(deflector)들(208), 및 카메라(210)를 포함할 수도 있다. 예를 들어, 차량(200)은 도 1에 설명된 컴포넌트들의 요소들의 일부 또는 전부를 포함할 수도 있다. 차량(200)은 도 2에 승용차로서 묘사되어 있지만, 차량(200)은, 다른 가능한 예들 중에서도, 트럭, 밴, 세미-트레일러 트럭, 모터사이클, 골프 카트, 오프-로드 차량, 로봇식 디바이스, 또는 농장 차량과 같은, 예들 내의 다른 구성들을 가질 수 있다.

센서 유닛(202)은, 차량(200)의 주변 환경의 정보를 캡처하도록 구성되는 하나 이상의 센서들을 포함할 수도 있다. 예를 들어, 센서 유닛(202)은, 다른 가능한 타입들의 센서들 중에서도, 카메라들, 레이더들, LIDAR들, 거리 측정기들, 라디오 디바이스들(예를 들어, 블루투스 및/또는 802.11), 및 음향 센서들의 임의의 조합을 포함할 수도 있다.

일부 구현들에서, 센서 유닛(202)은, 센서 유닛(202)에서의 센서들의 배향을 조정하도록 동작가능한 하나 이상의 이동가능 마운트들을 포함할 수도 있다. 예를 들어, 이동가능 마운트는, 차량(200) 주위의 각각의 방향으로부터 정보를 획득하도록 센서들을 스캐닝할 수 있는 회전 플랫폼을 포함할 수도 있다. 센서 유닛(202)의 이동가능 마운트는 특정 범위의 각도들 및/또는 방위각들 내에서 스캐닝 방식으로 또한 이동가능할 수도 있다.

일부 구현들에서, 센서 유닛(202)은, 센서 유닛(202)이 승용차의 루프의 정상에 장착되는 것을 가능하게 하는 기계적 구조체들을 포함할 수도 있다. 부가적으로, 다른 장착 위치들이 예들 내에서 가능하다.

무선 통신 시스템(204)은 도 2에 묘사된 바와 같은 차량(200)에 대한 위치를 가질 수도 있지만, 구현들 내에서 상이한 위치들을 또한 가질 수 있다. 무선 통신 시스템(200)은, 다른 외부 또는 내부 디바이스들과 통신할 수도 있는 하나 이상의 수신기들 및 하나 이상의 무선 송신기들을 포함할 수도 있다. 예를 들어, 무선 통신 시스템(204)은, 다른 가능한 엔티티들 중에서도, 사용자의 디바이스, 다른 차량들, 및 차도 요소들(예를 들어, 표지들, 교통 신호들)과 통신하기 위한 하나 이상의 트랜시버들을 포함할 수도 있다. 이와 같이, 차량(200)은, 통신들, 예컨대 전용 단거리 통신(DSRC), 라디오 주파수 식별(radio frequency identification)(RFID), 및 지능형 수송 시스템들을 향해 지향되는 다른 제안된 통신 표준들을 용이하게 하기 위한 하나 이상의 차량 통신 시스템들을 포함할 수도 있다.

카메라(210)는, 차량(200)의 전방 윈드실드(front windshield) 상의 위치와 같은, 차량(200)에 대한 다양한 포지션들을 가질 수도 있다. 이와 같이, 카메라(210)는 차량(200)의 환경의 이미지들을 캡처할 수도 있다. 도 2에 예시된 바와 같이, 카메라(210)는 차량(200)에 대해 전방에서 보이는 뷰로부터 이미지들을 캡처할 수도 있지만, 카메라(210)의 다른 장착 위치들(이동가능 마운트들을 포함함) 및 뷰잉 각도들이 구현들 내에서 가능하다. 일부 예들에서, 카메라(210)는 하나 이상의 가시 광 카메라들에 대응할 수도 있다. 대안적으로 또는 부가적으로, 카메라(210)는 적외선 감지 능력들을 포함할 수도 있다. 카메라(210)는, 조정가능한 시야를 제공할 수도 있는 옵틱(optic)들을 또한 포함할 수도 있다.

도 3a는 예시적인 구현들에 따른, 자율 차량과 관련된 다양한 컴퓨팅 시스템들 사이의 무선 통신의 개념적 예시이다. 특히, 원격 컴퓨팅 시스템(302), 서버 컴퓨팅 시스템(306), 및 차량(200)은 네트워크(304)를 통해 무선으로 통신할 수도 있다.

차량(200)은 위치들 사이에서 승객들 또는 객체들을 수송할 수도 있고, 상기에 논의된 차량들 중 임의의 하나 이상의 차량의 형태를 취할 수도 있다. 자율 모드에서 동작할 때, 차량(200)은 승객들의 유무에 관계없이 내비게이팅하여 차량(200)이 원하는 목적지들 사이에서 승객들을 픽업하고 하차시키는 것을 가능하게 할 수도 있다.

원격 컴퓨팅 시스템(302)은, 본 명세서에서 설명된 것들을 포함하지만 이에 제한되지 않는 원격 보조 기법들과 관련된 임의의 타입의 디바이스를 나타낼 수도 있다. 예들 내에서, 원격 컴퓨팅 시스템(302)은, (i) 차량(200)과 관련된 정보를 수신하고, (ii) 인간 오퍼레이터가 차례로 정보를 인지하게 하고 정보와 관련된 응답을 입력할 수 있게 하는 인터페이스를 제공하고, (iii) 응답을 차량(200)에 또는 다른 디바이스들에 송신하도록 구성되는 임의의 타입의 디바이스를 나타낼 수도 있다. 이와 같이, 원격 컴퓨팅 시스템(302)은 워크스테이션, 데스크톱 컴퓨터, 랩톱, 태블릿, 모바일 폰(예를 들어, 스마트 폰), 및/또는 서버와 같은 다양한 형태들을 취할 수도 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은, 네트워크 구성에서 함께 동작하는 다수의 컴퓨팅 디바이스들을 포함할 수도 있다.

원격 컴퓨팅 시스템(302)은, 차량(200)의 서브시스템들 및 컴포넌트들과 유사한 또는 동일한 하나 이상의 서브시스템들 및 컴포넌트들을 포함할 수도 있다. 최소한, 원격 컴퓨팅 시스템(302)은, 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서를 포함할 수도 있다. 일부 구현들에서, 원격 컴퓨팅 시스템(302)은, 터치스크린 및 스피커와 같은 입/출력 디바이스들을 포함하는 사용자 인터페이스를 또한 포함할 수도 있다. 다른 예들이 또한 가능하다.

원격 컴퓨팅 시스템(302)의 포지션은 예들 내에서 변할 수 있다. 예를 들어, 원격 컴퓨팅 시스템(302)은 네트워크(304)를 통한 무선 통신을 이용하여 차량(200)으로부터의 원격 포지션을 가질 수도 있다. 다른 예에서, 원격 컴퓨팅 시스템(302)은, 차량(200)과 물리적으로 분리되어 있지만 인간 오퍼레이터가 차량(200)의 승객 또는 운전자로서 있는 동안 상호작용할 수 있게 하는 차량(200) 내의 컴퓨팅 디바이스에 대응할 수도 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은, 차량(200)의 승객에 의해 동작가능한 터치스크린을 갖는 컴퓨팅 디바이스일 수도 있다.

일부 구현들에서, 원격 컴퓨팅 시스템(302)에 의해 수행되는 본 명세서에서 설명되는 동작들은 차량(200)에 의해(즉, 차량(200)의 임의의 시스템(들) 또는 서브시스템(들)에 의해) 부가적으로 또는 대안적으로 수행될 수도 있다. 다시 말해, 차량(200)은 차량의 운전자 또는 승객이 상호작용할 수 있게 하는 원격 보조 메커니즘을 제공하도록 구성될 수도 있다.

네트워크(304)는, 원격 컴퓨팅 시스템(302)과 차량(200) 사이의 무선 통신을 가능하게 할 수 있는 인프라스트럭처를 나타낸다. 네트워크(304)는 또한 서버 컴퓨팅 시스템(306)과 원격 컴퓨팅 시스템(302) 사이, 그리고 서버 컴퓨팅 시스템(306)과 차량(200) 사이의 무선 통신을 가능하게 할 수 있다.

서버 컴퓨팅 시스템(306)은 네트워크(304)를 통해 원격 컴퓨팅 시스템(302) 및 차량(200)과 무선으로(또는 어쩌면 원격 컴퓨팅 시스템(302) 및/또는 차량(200)과 직접적으로) 통신하도록 구성될 수도 있다. 서버 컴퓨팅 시스템(306)은, 차량(200) 및 그의 원격 보조에 관한 정보를 수신, 저장, 결정, 및/또는 전송하도록 구성되는 임의의 컴퓨팅 디바이스를 나타낼 수도 있다. 이와 같이, 서버 컴퓨팅 시스템(306)은 원격 컴퓨팅 시스템(302) 및/또는 차량(200)에 의해 수행되는 것으로 본 명세서에서 설명되는 임의의 동작(들), 또는 그러한 동작(들)의 부분들을 수행하도록 구성될 수도 있다. 원격 보조와 관련된 무선 통신의 일부 구현들은 서버 컴퓨팅 시스템(306)을 이용할 수도 있지만, 다른 구현들은 그렇지 않을 수도 있다.

서버 컴퓨팅 시스템(306)은, 원격 컴퓨팅 시스템(302) 및/또는 차량(200)의 서브시스템들 및 컴포넌트들과 유사한 또는 동일한 하나 이상의 서브시스템들 및 컴포넌트들, 예컨대 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서, 및 원격 컴퓨팅 시스템(302) 및 차량(200)으로부터 정보를 수신하고 정보를 이들에게 제공하기 위한 무선 통신 인터페이스를 포함할 수도 있다. 상술된 다양한 시스템들은 다양한 동작들을 수행할 수도 있다. 이들 동작들 및 관련 피처들이 이제 설명될 것이다.

일부 예들에서, 원격 컴퓨팅 시스템(예를 들어, 원격 컴퓨팅 시스템(302) 또는 어쩌면 서버 컴퓨팅 시스템(306))은 2개의 모드들 중 하나에서 동작할 수도 있다. 이들 모드들 중 제1 모드는, 본질적으로, 특히 점유율 검출 또는 승객 식별 신뢰도가 낮은 시나리오들에서, (차량 및/또는 원격 컴퓨팅 시스템의) 인간 오퍼레이터가 차량에 대한 원격 보조 지원을 제공하는 수단으로서 기능할 수도 있다. 원격 컴퓨팅 시스템은 인간 오퍼레이터가 거의 실시간으로 또는 실시간보다 덜 빈번하게 이 지원을 제공하는 것을 가능하게 할 수도 있다.

이들 2개의 모드들 중 제2 모드는, 최소한, 인간 오퍼레이터가 경계를 유지하는 수단으로서 기능할 수도 있다. 인간 오퍼레이터는 차량의 승객 또는 운전자일 수도 있거나, 또는 차량으로부터 원격으로 위치결정되지만 차량에(그리고 가능하다면 또한 다른 차량들에) 대한 원격 보조를 제공할 책임이 부여된 제3자일 수도 있다. 인간 오퍼레이터가 누구인지에 관계없이, 인간 오퍼레이터가 최소의 딜레이로 최적의 원격 보조를 제공할 수 있도록 인간 오퍼레이터가 경계를 유지하는 것이 바람직하다.

예를 들어, 차량이 특정 시간량(예를 들어, 1시간) 내에 원격 보조를 요청하지 않았을 수도 있는 시나리오들이 있을 수도 있고, 그에 따라 차량에 대한 원격 보조를 제공하는 것이 부여된 인간 오퍼레이터는 그 시간량 내에 어떠한 원격 보조 액션도 취하지 않았을 수도 있는데, 이 시간량은 인간 오퍼레이터가 피로해지거나 또는 그렇지 않으면 바람직한 것보다 덜 주의를 기울이게 될 수도 있을 정도로 충분히 길 수도 있다. 이들 그리고 다른 타입들의 가능한 시나리오들에서, 원격 컴퓨팅 시스템을 통해, 이 시간 동안 인간 오퍼레이터에게 경계성 데이터로 경계를 유지하도록 주기적으로 프롬프트하는 것이 바람직할 수도 있다. 경계성 데이터는, 확인된 또는 미확인된 객체 식별들에 관한 생성된 자연 언어 질문들을 또한 포함하여, 확인된 또는 미확인된 객체 식별들을 갖는 아카이브된(archived) 이미지들, 오디오, 또는 비디오와 같은 다양한 형태들을 취할 수도 있다.

원격 보조 태스크들은, 인간 오퍼레이터가 차량의 동작을 제어(예를 들어, 차량이 식별된 승객과 연관된 특정 목적지로 이동하도록 명령)하기 위한 명령어를 제공하는 것을 또한 포함할 수도 있다. 일부 시나리오들에서, 차량 자체는 객체의 식별과 관련된 인간 오퍼레이터의 피드백에 기초하여 그 자신의 동작을 제어할 수도 있다. 예를 들어, 차량의 점유율이 원하는 점유율을 충족시킨다는 확인을 수신할 때, 차량 제어 시스템은 차량으로 하여금 승객들을 요청된 목적지로 안전하게 수송하게 할 수도 있다.

도 3b는 예시적인 컴퓨팅 시스템(350)의 예시적인 컴포넌트들을 묘사하는 단순화된 블록도를 도시한다. 원격 컴퓨팅 시스템(302), 또는 어쩌면 서버 컴퓨팅 시스템(306) 중 하나 또는 양측 모두는 컴퓨팅 시스템(350)의 형태를 취할 수도 있다.

컴퓨팅 시스템(350)은 적어도 하나의 프로세서(352) 및 시스템 메모리(354)를 포함할 수도 있다. 예시적인 실시예에서, 컴퓨팅 시스템(350)은, 프로세서(352) 및 시스템 메모리(354)뿐만 아니라, 컴퓨팅 시스템(350)의 다른 컴포넌트들을 통신가능하게 연결할 수 있는 시스템 버스(356)를 포함할 수도 있다. 원하는 구성에 따라, 프로세서(352)는, 마이크로프로세서(μP), 마이크로제어기(μC), 디지털 신호 프로세서(DSP), 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 임의의 타입의 프로세서일 수 있다. 게다가, 시스템 메모리(354)는, (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는, 현재 알려져 있거나 또는 추후에 개발될 임의의 타입의 메모리로 될 수 있다.

컴퓨팅 시스템(350)은 다양한 다른 컴포넌트들을 포함할 수도 있다. 예를 들어, 컴퓨팅 시스템(350)은, (A/V 포트(364)를 통해) 그래픽 디스플레이(360) 및 스피커(362)를 제어하기 위한 A/V 프로세싱 유닛(358), 다른 컴퓨팅 디바이스들(368)에 연결하기 위한 하나 이상의 통신 인터페이스들(366), 및 전원(370)을 포함할 수도 있다.

그래픽 디스플레이(360)는 사용자 인터페이스 모듈(362)에 의해 제공되는 다양한 입력 구역들의 시각적 묘사를 제공하도록 배열될 수도 있다. 예를 들어, 사용자 인터페이스 모듈(362)은 사용자 인터페이스를 제공하도록 구성될 수도 있고, 그래픽 디스플레이(360)는 사용자 인터페이스의 시각적 묘사를 제공하도록 구성될 수도 있다. 사용자 인터페이스 모듈(362)은 하나 이상의 사용자 인터페이스 디바이스들(368)로부터 데이터를 수신하고 데이터를 이들에게 송신하도록(또는 그렇지 않으면 이들과 호환가능하도록) 추가로 구성될 수도 있다.

게다가, 컴퓨팅 시스템(350)은 또한 하나 이상의 데이터 저장 디바이스들(374)을 포함할 수도 있는데, 이 데이터 저장 디바이스들은 착탈식 저장 디바이스들, 비착탈식 저장 디바이스들, 또는 이들의 조합일 수 있다. 착탈식 저장 디바이스들 및 비착탈식 저장 디바이스들의 예들로는 플렉시블 디스크 드라이브들 및 하드 디스크 드라이브들(HDD)과 같은 자기 디스크 디바이스들, 콤팩트 디스크(CD) 드라이브들 또는 디지털 비디오 디스크(DVD) 드라이브들과 같은 광학 디스크 드라이브들, 솔리드 스테이트 드라이브들(SSD), 및/또는 현재 알려져 있거나 또는 추후에 개발될 임의의 다른 저장 디바이스를 포함한다.

컴퓨터 저장 매체들은, 컴퓨터 판독가능 명령어들, 데이터 구조체들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체들을 포함할 수 있다. 예를 들어, 컴퓨터 저장 매체들은 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 비디오 디스크(DVD) 또는 다른 광학 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 시스템(300)에 의해 액세스될 수 있는 현재 알려져 있거나 또는 추후에 개발될 임의의 다른 매체의 형태를 취할 수도 있다.

예시적인 실시예에 따르면, 컴퓨팅 시스템(350)은, 도 4와 관련하여 설명되는 다양한 기능들을 포함하지만 이에 제한되지 않는 본 명세서에서 설명되는 다양한 기능들을 용이하게 하도록 프로세서(352)에 의해 실행가능하고 시스템 메모리(354)에(그리고/또는 가능하다면 다른 데이터 저장 매체에) 저장되는 프로그램 명령어들(376)을 포함할 수도 있다. 컴퓨팅 시스템(350)의 다양한 컴포넌트들이 분산된 컴포넌트들로서 도시되어 있지만, 그러한 컴포넌트들 중 임의의 것이 컴퓨팅 시스템의 원하는 구성에 따라 물리적으로 통합 및/또는 분산될 수도 있다는 것이 이해되어야 한다.

도 4는 예시적인 구현들에 따른, 차량 점유율 확인을 위한 방법의 흐름도이다. 방법(400)은, 블록들 402, 404, 406, 및 408 중 하나 이상에 의해 묘사된 바와 같은, 하나 이상의 동작들, 기능들, 또는 액션들을 포함할 수도 있는 예시적인 방법을 나타내고, 이들 각각은, 다른 가능한 시스템들 중에서도, 도 1, 도 2, 도 3a, 도 3b에 도시된 시스템들 중 임의의 것에 의해 수행될 수도 있다.

본 기술분야의 통상의 기술자는 본 명세서에서 설명되는 흐름도가 본 개시내용의 특정 구현들의 기능성 및 동작들을 예시한다는 것을 이해할 것이다. 이와 관련하여, 흐름도의 각각의 블록은, 프로세스에서 특정 논리 기능들 또는 단계들을 구현하기 위해 하나 이상의 프로세서들에 의해 실행가능한 하나 이상의 명령어들을 포함하는, 모듈, 세그먼트, 또는 프로그램 코드의 일부분을 나타낼 수도 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 포함하는 저장 디바이스와 같은, 임의의 타입의 컴퓨터 판독가능 매체 상에 저장될 수도 있다.

부가적으로, 각각의 블록은 프로세스에서 특정 논리 기능들을 수행하도록 배선되는 회로부를 나타낼 수도 있다. 대안적인 구현들은 본 출원의 예시적인 구현들의 범주 내에 포함되는데, 여기서 기능들은, 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 수반된 기능성에 따라, 실질적으로 동시에 또는 역순으로를 포함하여, 도시된 또는 논의된 순서 이외의 순서로 실행될 수도 있다.

블록 402에서, 방법(400)은, 차량 내측에 포지셔닝되는 카메라로부터, 차량 내의 점유율을 나타내는 이미지를 수신하는 단계를 포함한다. 상기에 논의된 바와 같이, 차량 제어 시스템 또는 차량의 다른 시스템은 차량 제어 시스템 또는 다른 시스템이 보조를 요구하게 초래할 수 있는 상황에 직면할 수도 있다. 특히, 차량 제어 시스템은 하나 이상의 다른 컴퓨팅 시스템들에 보조 요청을 제출할 수도 있다. 다른 컴퓨팅 시스템 또는 컴퓨팅 시스템을 사용하는 인간 오퍼레이터가 보조를 제공하는 것을 가능하게 하기 위해, 차량 제어 시스템은 또한, 보조 요청과 함께, 이미지들 또는 다른 센서 데이터와 같은 정보를 컴퓨팅 시스템에 제공할 수도 있다. 그 결과, 컴퓨팅 시스템은 차량을 보조하기 위해 제공된 정보를 이용하거나 또는 인간 오퍼레이터가 사용할 정보를 디스플레이할 수도 있다.

일부 예시적인 구현들에서, 차량 제어 시스템은 차량 내의 점유율을 나타내는 하나 또는 다수의 이미지들을 다른 컴퓨팅 시스템 또는 시스템들에 제공할 수도 있다. 이미지들은 차량의 내부를 묘사할 수도 있고, 컴퓨팅 시스템 또는 인간 오퍼레이터가 차량의 현재 점유율이 원하는 점유율을 충족시키는지를 결정하는 것을 돕는 것을 가능하게 할 수도 있다. 예를 들어, 컴퓨팅 시스템은 차량의 내부에 장착되는 차량 카메라로부터 이미지들을 수신하여 카메라가 차량의 내부를 묘사하는 이미지들을 캡처하도록 할 수도 있다.

추가의 예에서, 컴퓨팅 시스템은 차량 카메라 시스템의 하나 또는 다수의 카메라들로부터 캡처된 다수의 이미지들을 수신할 수도 있다. 예를 들어, 컴퓨팅 시스템은 제1 카메라로부터 차량 내의 점유율을 묘사하는 제1 이미지를 수신하고 제2 카메라로부터 점유율을 묘사하는 제2 이미지를 또한 수신할 수도 있다. 예들 내에서, 제1 카메라 및 제2 카메라는 각각의 카메라가 차량 내부의 동일한 영역을 묘사하는 이미지들을 캡처하도록 하는 배향들을 가질 수도 있거나 또는 카메라들은 이미지들이 차량 내부의 상이한 부분들을 묘사하도록 하는 상이한 배향들을 가질 수 있다.

부가적으로, 일부 예시적인 구현들에서, 컴퓨팅 시스템은 차량 제어 시스템으로부터 부가적인 정보를 수신할 수도 있다. 예를 들어, 차량 제어 시스템은 오디오 데이터를 컴퓨팅 시스템에 송신할 수도 있다. 오디오 데이터는, 하나 이상의 마이크로폰들에 의해 차량의 내부 내에서 캡처되는 사운드들, 음성들, 및 다른 노이즈들에 대응할 수도 있다. 이와 같이, 컴퓨팅 시스템은 대응하는 이미지들을 갖거나 또는 갖지 않는 오디오 데이터를 수신할 수도 있다.

추가의 예들에서, 컴퓨팅 시스템은 또한 차량 제어 시스템으로부터 다른 타입들의 정보(예를 들어, 상이한 센서 측정치들)를 수신할 수도 있다. 특히, 센서들은 타입, 검출 방법들, 차량에 대한 배치, 캡처된 정보뿐만 아니라 다른 잠재적인 파라미터들이 변할 수 있다. 예를 들어, 컴퓨팅 시스템은 센서들(예를 들어, 카메라, 모션 센서)의 조합으로부터 차량의 현재 점유율을 묘사하는 것을 돕는 정보를 수신할 수도 있다.

예들 내에서, 차량으로부터 이미지 또는 다른 데이터를 수신하는 컴퓨팅 시스템의 포지션은 상이할 수 있다. 예를 들어, 일부 예들에서, 컴퓨팅 시스템은 차량으로부터 멀리 있는 원격 위치에서의 포지션을 가질 수 있다. 원격 포지션에서, 컴퓨팅 시스템은 차량 제어 시스템 또는 차량의 다른 시스템과의 무선 통신을 사용하여 이미지들 및 정보를 수신할 수도 있다. 다른 예들에서, 컴퓨팅 시스템은 차량 내측에 포지셔닝될 수 있고 유선 커넥션을 통해 차량 제어 시스템 또는 차량의 다른 시스템으로부터 정보를 수신할 수도 있다. 컴퓨팅 시스템이 차량 내측에 포지셔닝될 때, 컴퓨팅 시스템은 하나 또는 다수의 승객들이 입력을 제공하고 차량 제어 시스템 또는 차량의 다른 시스템으로부터의 출력을 관찰하는 것을 가능하게 할 수도 있다. 추가의 예들에서, 차량 제어 시스템은, 차량 내측에 포지셔닝되는 컴퓨팅 시스템 및 차량으로부터 원격 위치에 포지셔닝되는 컴퓨팅 시스템을 포함할 수도 있는 다수의 컴퓨팅 시스템들과 통신할 수도 있다.

예들 내에서, 차량 내의 점유율을 묘사하는 이미지들 또는 다른 센서 데이터는 차량의 현재 점유율 또는 앞선 측정치들을 나타낼 수도 있다. 예를 들어, 일부 예들에서, 차량 제어 시스템은 차량에 의해 이전 승객들에게 제공된 앞선 수송 동안 캡처된 이미지들을 제공할 수도 있다. 다른 예들에서, 차량 제어 시스템은 차량의 현재 점유율 및 상황을 묘사할 수도 있는 이미지들 및 다른 정보를 제공할 수도 있다.

블록 404에서, 방법(400)은, 이미지를 수신하는 것에 응답하여, 이미지를 디스플레이 인터페이스 상에 디스플레이하는 단계를 포함한다. 차량 제어 시스템 또는 차량의 다른 시스템으로부터 이미지들 또는 다른 정보를 수신한 후에, 컴퓨팅 시스템은, 다른 옵션들 중에서도, 발광 다이오드 디스플레이(LED) 또는 터치스크린과 같은 디스플레이 인터페이스를 통해 이미지들 및 다른 정보를 디스플레이하도록 구성될 수도 있다. 정보를 디스플레이하는 것에 부가적으로, 컴퓨팅 시스템은, 인간 오퍼레이터가 정보를 조작하는 것을 가능하게 하는 인터페이스를 또한 포함할 수도 있다. 예를 들어, 인터페이스는 인간 오퍼레이터가 컴퓨팅 시스템에 의해 디스플레이되는 이미지 또는 정보의 특정 부분 또는 부분들에 포커싱하는 것을 가능하게 할 수도 있다.

일부 예들에서, 컴퓨팅 시스템은 이미지들을 디스플레이하기에 앞서 컴퓨터 비전 또는 다른 기법들을 사용하여 차량으로부터 수신되는 인커밍 이미지들을 프로세싱할 수도 있다. 예로서, 컴퓨팅 시스템은 이미지들 내에 묘사되는 승객들에 포커싱하기 위해 컴퓨터 비전을 사용할 수도 있다. 다른 경우들에서, 컴퓨팅 시스템은 수신된 이미지들의 다른 양태들에 포커싱하기 위해 컴퓨터 소프트웨어를 이용할 수도 있다.

부가적으로, 컴퓨팅 시스템은 차량 내의 현재 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 것을 돕기 위해 또는 신호들 또는 다른 마커들을 통해 인간 오퍼레이터가 이미지들을 뷰잉하는 것을 안내하는 것을 돕기 위해 컴퓨터 비전을 추가로 사용할 수도 있다. 예를 들어, 컴퓨팅 시스템은 차량으로부터 수신되는 주어진 이미지 내에서 캡처되는 각각의 승객의 얼굴들 주위에 박스들을 배치시키기 위해 컴퓨터 비전을 사용할 수도 있다.

일부 예들에서, 컴퓨팅 시스템은 디스플레이될 때 하나 이상의 향상 그래픽(enhancement graphic)들을 더 포함하도록 차량으로부터 수신되는 하나 또는 다수의 이미지들을 또한 수정할 수도 있다. 예를 들어, 컴퓨팅 시스템은, 차량 제어 시스템이 차량 내에 존재하는 것으로 추정한 승객들의 수를 표시하거나 또는 차량의 위치를 표시하는 그래픽 텍스트를 포함하는 향상 그래픽들을 부가할 수도 있다. 다른 예에서, 컴퓨팅 시스템은, 인간 오퍼레이터가 응답하기 위해 차량 제어 시스템에 의해 제공되는 요청을 지시하는 텍스트를 포함할 수도 있다. 예를 들어, 컴퓨팅 시스템은, 차량 제어 시스템이 차량 내에 존재하는 것으로 추정한 승객들의 양이 정확하다는 것을 확인 또는 거부하도록 인간 오퍼레이터에게 요청하는 텍스트를 포함할 수도 있다. 이와 같이, 컴퓨팅 시스템은 수정된 이미지들 및 다른 정보를 디스플레이 인터페이스 상에 디스플레이할 수도 있다.

추가의 예들에서, 컴퓨팅 시스템은 또한 시스템 인터페이스들을 통해 다른 센서 데이터, 오디오 데이터, 또는 다른 정보를 제공할 수도 있다. 예를 들어, 컴퓨팅 시스템은 오디오 데이터 및 이미지들을 오디오비주얼 포맷(audiovisual format)으로 제공할 수도 있다. 부가적인 예에서, 컴퓨팅 시스템은 차량의 승객들이 거의 실시간으로 컴퓨팅 시스템을 통해 인간 오퍼레이터와 통신할 수 있도록 인간 오퍼레이터가 차량의 오디오 또는 오디오비주얼 시스템과의 거의 실시간 무선 통신에 관여하는 것을 또한 가능하게 할 수도 있다.

블록 406에서, 방법(400)은, 점유율이 원하는 점유율을 충족시킨다는 것을 확인하는 오퍼레이터 입력을 수신하는 단계를 포함한다. 차량의 점유율을 나타내는 이미지들 또는 다른 센서 데이터를 디스플레이한 후에, 컴퓨팅 시스템은 인간 오퍼레이터로부터 오퍼레이터 입력을 수신할 수도 있다. 특히, 인간 오퍼레이터는, 보조를 제공하기 위해 컴퓨팅 시스템을 사용하여 차량으로부터 수신되는 이미지들 및 다른 정보를 검토하는 사람에 대응할 수도 있다.

컴퓨팅 시스템에서 수신되는 오퍼레이터 입력은 차량에 의해 원래 제공된 보조 요청에 의존할 수도 있다. 예를 들어, 차량 제어 시스템이 현재 점유율이 차량에 대해 현재 원하는 점유율을 충족시키는지 또는 아닌지의 여부를 확인하도록 요구하는 요청을 컴퓨팅 시스템에 송신하는 상황에서, 컴퓨팅 시스템은 현재 점유율이 원하는 점유율을 충족시킨다는 것을 확인 또는 거부하는 오퍼레이터 입력을 수신할 수도 있다. 유사하게, 차량 제어 시스템으로부터의 원래 요청이 과거 점유율이 과거의 원하는 점유율을 충족시켰다는 것을 확인하는 것에 대한 보조를 요구하는 경우, 오퍼레이터 입력은 과거 점유율이 앞선 원하는 점유율을 충족시켰는지 또는 아닌지의 여부를 확인할 수도 있다. 예를 들어, 오퍼레이터 입력은 차량이 최근에 완료한 탑승 요청에서 요청된 대로 차량이 올바른 수의 승객들을 수송하였다는 것을 확인할 수도 있다.

일부 예들에서, 하나 또는 다수의 승객들의 신원 또는 승객 프로파일의 확인과 같은, 차량으로부터의 보조 요청은 부가적인 정보를 요청할 수도 있다. 차량 제어 시스템은 승객의 식별물 또는 승객 프로파일을 이용하여, 다른 가능성들 중에서도, 올바른 승객이 차량에 있다는 것을 확인하는 것을 돕는 것, 승객을 하차시키기 위한 최종 목적지를 결정하는 것, 설정들을 조정하거나 또는 탑승을 위한 지불을 용이하게 하는 것을 할 수도 있다. 이와 같이, 차량으로부터 컴퓨팅 시스템에서 수신되는 보조 요청이 부가적인 정보를 요청하는 상황들에서, 컴퓨팅 시스템은 부가적인 정보를 제공하는 오퍼레이터 입력을 오퍼레이터로부터 수신할 수도 있다. 예를 들어, 오퍼레이터 입력은 차량 내측의 하나 또는 다수의 승객들에 대한 신원 또는 승객 프로파일을 확인할 수도 있다.

다른 예들에서, 오퍼레이터 입력은, 예컨대 차량 내측의 승객들의 포지션들을 식별하는 다른 정보, 또는 승객들이 안전벨트들을 사용하여 버클이 채워져 있고 수송할 준비가 되어 있다는 표시를 제공할 수도 있다. 추가의 예들에서, 오퍼레이터 입력은, 인간 오퍼레이터가 차량이 이용하도록 또는 컴퓨팅 시스템이 그 주어진 보조 요청과 연관된 것으로서 메모리에 저장하도록 자발적으로 제공한 부가적인 정보를 포함할 수도 있다.

컴퓨팅 시스템은 예들 내에서 다양한 타입들의 인터페이스들을 사용하여 오퍼레이터 입력들을 수신할 수도 있다. 예를 들어, 컴퓨팅 시스템은, 인간 오퍼레이터가 컴퓨팅 시스템에 입력을 제공하는 것을 가능하게 하는 터치스크린 또는 다른 물리적 인터페이스들을 포함할 수도 있다. 부가적으로, 컴퓨팅 시스템은, 다른 가능성들 중에서도, 마이크로폰 또는 모션 센서들을 사용하여 인간 오퍼레이터로부터 모션 또는 음성 입력들을 또한 수신할 수도 있다.

인간 오퍼레이터가 또한 예들 내에서 상이할 수 있다. 예를 들어, 일부 상황들에서, 인간 오퍼레이터는, 차량 또는 다수의 차량들에 대한 보조를 제공하도록 할당된 사람일 수도 있다. 예로서, 인간 오퍼레이터는 하나 이상의 차량들로부터의 원격 위치에서 컴퓨팅 시스템을 사용하는 사람일 수도 있고, 특정 지리적 영역에서(예를 들어, 도시 경계선들 내에서) 동작하는 차량들의 차량군에 대한 보조를 제공하도록 할당될 수도 있다.

다른 예에서, 인간 오퍼레이터는, 차량 또는 차량의 동작에 대한 권리들을 소유한 사람일 수도 있다. 예를 들어, 차량 제어 시스템은 인간 오퍼레이터가 다른 잠재적인 승객들에 대한 수송을 수행하도록 차량을 빌려주는 상황들에서 인간 오퍼레이터로부터의 보조를 요구할 수도 있다.

추가의 예에서, 컴퓨팅 시스템을 사용하는 인간 오퍼레이터는, 보조를 요청하고 있는 차량 내측의 승객일 수도 있다. 특히, 차량의 차량 제어 시스템은 유선 또는 무선 커넥션을 통한 컴퓨팅 시스템을 통해 인간 오퍼레이터와 통신할 수도 있다. 이와 같이, 인간 오퍼레이터로서 기능하는 승객은 차량의 현재 점유율이 원하는 점유율을 충족시키는지(예를 들어, 수송을 요청하는 모든 승객들이 차량 내측에 존재하는지) 또는 아닌지의 여부를 확인하는 것을 도울 수도 있다. 일부 상황들에서, 승객은 또한 신원 정보, 하차시키기 위한 타깃 목적지들, 또는 지불 관련 정보와 같은 부가적인 정보를 차량 제어 시스템에 제공할 수도 있다.

상기에 표시된 바와 같이, 오퍼레이터 입력은 차량의 점유율이 원하는 점유율을 충족시키는지 여부를 확인할 수도 있다. 예들 내에서, 원하는 점유율은 변할 수 있고, 차량에 의해 수행되는 탑승 요청, 차량의 타입 등과 같은 다양한 요인들에 의존할 수도 있다. 예를 들어, 일부 상황들에서, 원하는 점유율은, 차량이 승객들을 수송하기 시작하기 전에 차량 제어 시스템이 차량을 점유할 것으로 예상하는 승객들의 양을 나타낼 수도 있다.

예로서, 차량은 전체적으로 3명의 승객들에 대한 수송을 요구하는 잠재적인 승객으로부터의 탑승 요청을 이행하기 위해 파견될 수도 있다. 이와 같이, 승객들의 픽업 위치에 도착할 때, 차량 제어 시스템은 3명의 승객들이 실제로 차량을 현재 점유하고 있다는 것을 확인할 때까지 승객들의 수송을 기다릴 수도 있다. 그러한 상황에서, 차량 제어 시스템은 3명의 승객들이 차량 내측에 포지셔닝되어 원하는 점유율이 만족됨을 시그널링하는지 또는 아닌지의 여부를 확인하기 위해 인간 오퍼레이터로부터의 보조를 요청할 수도 있다.

다른 예시적인 구현에서, 차량 제어 시스템은 차량이 자율 제어 동작을 실행하기에 앞서 적어도 하나의 승객이 차량을 점유하도록 요구하기 위해 원하는 점유율을 설정할 수도 있다. 차례로, 적어도 하나의 승객을 기다림으로써, 차량 제어 시스템은 차량으로부터 수송을 요청한 승객 또는 승객들이 차량 내측에 준비가 되기 전에 픽업 위치로부터 멀리 내비게이팅하는 것을 억제할 수도 있다. 이와 같이, 인간 오퍼레이터는 차량에 의해 제공되는 이미지들 또는 다른 정보를 검토하여, 차량이 적어도 하나의 승객을 포함하는지 또는 아닌지의 여부를 확인할 수도 있다.

추가의 예시적인 구현에서, 차량 제어 시스템은 차량의 현재 점유율이 다수의 승객들(예를 들어, 적어도 2명의 승객들)을 수반하는 원하는 점유율을 충족시킬 것을 요구할 수도 있다. 예를 들어, 승객이 총 3명의 승객들을 픽업 위치로부터 타깃 목적지로 수송하도록 차량에 미리 오더한(preordered) 상황에서, 원하는 점유율은 차량이 자율 동작을 실행하기에 앞서 3명의 승객들이 차량 내에 위치결정될 것을 요구할 수도 있다.

블록 408에서, 방법(400)은, 컴퓨팅 시스템으로부터의 점유율 확인을 차량에 송신하는 단계를 포함한다. 컴퓨팅 시스템은 점유율 확인 또는 다른 정보를 차량 제어 시스템 또는 차량의 다른 시스템에 송신할 수도 있다.

일부 예들에서, 컴퓨팅 시스템으로부터 점유율 확인 또는 다른 정보를 수신할 때, 차량 제어 시스템은 차량으로 하여금 하나 또는 다수의 자율 드라이빙 동작들을 실행하게 할 수도 있다. 예를 들어, 차량 제어 시스템은 차량 내의 현재 점유율이 원하는 점유율을 충족시킨다고 결정한 후에 승객 또는 승객들을 승객들에 의해 요청된 하나 이상의 목적지들로 자율적으로 수송할 수도 있다.

상기에 논의된 바와 같이, 컴퓨팅 시스템은 예들 내에서 다양한 방식들로 점유율 확인을 차량(예를 들어, 차량 제어 시스템)에 제공할 수도 있다. 일부 예들에서, 컴퓨팅 시스템은 점유율 확인을 무선 통신을 통해 차량에 송신할 수 있다. 무선 통신의 타입은 차량의 수신 시스템에 대한 컴퓨팅 시스템의 근접성에 의존할 수도 있다. 다른 예들에서, 컴퓨팅 시스템은 차량과의 유선 커넥션을 확립할 수도 있다. 예를 들어, 컴퓨팅 시스템이 차량 내측에 또는 차량 근처에 포지셔닝되는 상황에서, 컴퓨팅 시스템은 차량에 연결되고 점유율 확인을 유선 커넥션을 통해 제공할 수도 있다.

상기에 표시된 바와 같이, 차량은 점유율 확인에 응답하여 자율 동작을 실행할 수도 있다. 점유율 확인이 점유율이 원하는 점유율을 충족시키지 못함을 표시할 때, 차량은 특정 동작을 수행하도록 구성될 수도 있다. 예를 들어, 차량은 점유율이 원하는 점유율을 충족시킴을 표시하는 다른 확인을 컴퓨팅 시스템으로부터 수신할 때까지 정지 상태로 유지될 수도 있다. 다른 예들에서, 차량은 점유율이 원하는 점유율을 충족시키지 못한다는 표시를 수신하는 것에 응답하여 이동할 때 정지하거나 또는 다른 동작을 수행할 수도 있다. 추가의 예에서, 차량은 점유율이 원하는 점유율을 충족시키지 못한다는 표시를 수신하는 것에 응답하여 잠재적인 승객으로부터의 다른 탑승 요청을 수용하고 그 승객을 픽업할 수도 있다.

다른 예들에서, 차량은 점유율이 원하는 점유율을 충족시킨다는 확인을 수신하는 것에 응답하여 하나 또는 다수의 자율 동작들을 실행할 수도 있다. 예를 들어, 컴퓨팅 시스템으로부터 확인을 수신할 때, 차량은 승객 또는 다수의 승객들을 하나 또는 다수의 원하는 위치들(예를 들어, 승객 또는 승객들에 대한 요청된 하차 위치)로 내비게이팅 및 수송할 수도 있다. 예로서, 차량은 제1 승객에 의해 요청된 제1 하차 위치에 제1 승객을 하차시키고, 제2 승객에 의해 요청된 제2 하차 위치에 제2 승객을 하차시킬 수도 있다. 예에서, 일부 경우들에서, 차량 제어 시스템은 제2 하차 위치로 이동하기 전에 제1 승객이 차량에서 나갔다는 것을 보장하기 위해 제1 하차 위치에 도달한 후에 현재 점유율을 확인하라는 요청을 컴퓨팅 시스템에 제출할 수도 있다.

추가의 예시적인 구현에서, 방법(400)은, 차량 내측의 모션을 표시하는 센서 데이터를 수신하는 단계 및 이에 응답하여 하나 이상의 이미지들을 캡처하기 위한 신호를 카메라에 송신하는 단계를 더 수반할 수도 있다. 예를 들어, 컴퓨팅 시스템은 차량 내측에 포지셔닝되는 근접 센서로부터 차량 내측의 모션을 표시하는 센서 데이터를 수신할 수도 있다. 이에 응답하여, 컴퓨팅 시스템은 차량의 내부를 묘사하는 하나 이상의 이미지들을 캡처 및 제공하기 위한 신호를 차량 카메라 시스템에 송신할 수도 있다. 부가적인 예에서, 차량 제어 시스템은 차량 내측의 모션을 표시하는 센서 데이터를 수신하고 카메라 시스템으로 하여금 차량의 내부를 묘사하는 이미지를 캡처하게 할 수도 있다. 차량 제어 시스템은 이에 응답하여 보조 요청과 함께 이미지를 컴퓨팅 시스템에 제공할 수도 있다.

다른 예시적인 구현에서, 방법(400)은, 차량 내측의 승객의 존재를 표시할 수도 있는 센서 데이터를 촉각 센서로부터 수신하는 단계를 더 수반할 수도 있다. 예를 들어, 컴퓨팅 시스템 또는 차량 제어 시스템은, 좌석들에 포지셔닝되는 촉각 센서들로부터의 측정치들 또는 하나 또는 다수의 안전벨트들의 사용을 표시하는 센서 데이터를 수신할 수도 있다. 이와 같이, 센서 데이터는 차량 내측의 현재 점유율이 원하는 점유율을 충족시키는지 또는 아닌지의 여부를 확인하는 데 사용될 수 있다. 추가의 예에서, 컴퓨팅 시스템 또는 차량 제어 시스템은 차량 내측의 하나 또는 다수의 안전벨트들의 사용을 검출하는 것에 응답하여 카메라로 하여금 차량의 내부를 묘사하는 하나 또는 다수의 이미지들을 캡처하게 할 수도 있다.

추가의 예시적인 구현에서, 차량 제어 시스템으로부터 정보 및 보조 요청을 수신하는 컴퓨팅 시스템은 인간 오퍼레이터로부터의 입력에 의존하는 일 없이 보조를 제공할 수도 있다. 특히, 컴퓨팅 시스템은 차량의 점유율이 원하는 점유율을 충족시키는지 또는 아닌지의 여부를 확인하는 것을 돕기 위해 인커밍 이미지들 또는 다른 센서 정보를 프로세싱할 수도 있다. 추가의 예들에서, 컴퓨팅 시스템은 차량 제어 시스템에 의해 요청될 때 차량을 점유하고 있는 하나 이상의 승객들을 식별하는 것에 대한 보조를 또한 제공할 수도 있다. 예를 들어, 컴퓨팅 시스템은, 하나 또는 다수의 승객들을 식별하기 위해 승객들의 이미지들을 잠재적인 승객들의 이미지들을 포함하는 데이터베이스와 비교할 수 있는 소프트웨어를 이용할 수도 있다. 데이터베이스는 차량 서비스를 이용한 앞선 승객들 또는 데이터베이스에 정보를 제공한 승객들에 기초하여 만들어질 수도 있다. 일부 예들에서, 인간 오퍼레이터는 차량을 점유하고 있는 하나 또는 다수의 승객들에 대한 신원들 또는 승객 프로파일들을 결정할 때 데이터베이스를 사용할 수도 있다.

일부 예시적인 구현들에서, 보조를 요청할 때, 차량 제어 시스템은 자연 언어 질문을 생성하고 이를 컴퓨팅 시스템에 제공할 수도 있다. 예를 들어, 차량 제어 시스템은 "현재 3명의 승객들이 차량을 점유하고 있습니까?" 또는 "이 승객이 '이름'입니까?"와 같은 질문으로 컴퓨팅 시스템에 질의할 수도 있다. 차례로, 컴퓨팅 시스템은 질문 또는 질문들을 디스플레이하여 인간 오퍼레이터가 뷰잉하고 "예" 또는 "아니오" 확인을 차량 제어 시스템에 다시 제공할 수도 있다. "예" 또는 "아니오" 확인과 연관된 바이너리 방식은 차량 제어 시스템이 이에 응답하여 적절한 자율 동작들을 진행하는 것을 가능하게 할 수도 있다. 추가의 예들에서, 컴퓨팅 시스템은 보조 요청이 컴퓨팅 시스템을 사용하는 인간 오퍼레이터에 대한 자연 언어 질문으로서 나타나도록 차량 제어 시스템으로부터의 보조 요청을 공식화할 수도 있다.

추가의 예에서, 차량 제어 시스템은 승객의 디바이스 사이의 통신을 확립하려고 시도함으로써 승객에 관한 부가적인 정보를 수집할 수도 있다. 예를 들어, 차량 제어 시스템은 승객의 디바이스(예를 들어, 스마트폰, 웨어러블 컴퓨팅 디바이스)와의 커넥션을 확립하도록 요청하는 질의를 송신할 수도 있다. 커넥션을 확립할 때, 차량 제어 시스템은 특정 승객이 차량 내측에 존재한다고 결정할 수도 있고 승객으로부터의 부가적인 정보(예를 들어, 차량 사용과 연관된 승객의 프로파일)를 요청할 수도 있다. 커넥션은 블루투스, WiFi, 또는 다른 형태의 피어 투 피어 통신(peer to peer communication)을 사용하여 확립될 수도 있다. 예를 들어, 차량 제어 시스템은 디바이스가 커넥션을 확립함으로써 응답할 수도 있는 특정 오디오 신호를 송신함으로써 승객의 디바이스와 연결될 수도 있다.

일부 예시적인 구현들에서, 차량 제어 시스템 또는 차량의 다른 시스템은 차량 제어 시스템에 의해 이루어진 결정이 임계 신뢰도 레벨 미만에 미치지 못한다는 결정에 응답하여 하나 또는 다수의 컴퓨팅 시스템들에 보조 요청을 제출할 수도 있다. 예를 들어, 차량 제어 시스템은 3명의 승객들이 차량을 현재 점유하고 있다고 추정할 수도 있지만, 추정치가 미리 정의된 임계 신뢰도 레벨 미만으로 떨어진다고 결정할 수도 있다. 이에 응답하여, 차량 제어 시스템은 3명의 승객들이 차량을 현재 점유하고 있는지 또는 아닌지의 여부를 확인하기 위한 보조 요청을 송신할 수도 있다. 차량 제어 시스템은 다른 상황들에서 유사한 요청을 송신할 수도 있다. 예를 들어, 차량을 점유하고 있는 승객의 승객 프로파일을 식별하려고 시도할 때, 차량 제어 시스템은 식별 프로세스가 임계 신뢰도 레벨 미만의 신뢰도 레벨을 산출할 때 보조를 요구할 수도 있다.

일부 예시적인 구현들에서, 센서 또는 다수의 센서들은 차량의 내부의 이미지를 캡처하여 컴퓨팅 시스템에 전송하도록 내부 카메라를 트리거하는 센서 데이터를 캡처할 수도 있다. 예를 들어, 카메라는 마이크로폰이 차량 내측의 오디오(예를 들어, 승객의 음성)를 검출하는 것에 응답하여 차량의 내부의 이미지들을 캡처할 수도 있다. 다른 예에서, 카메라는 외부 카메라가 차량 내로 들어가는 하나 이상의 잠재적인 승객들의 이미지를 캡처하는 것에 응답하여 차량의 점유율을 묘사하는 이미지들을 캡처할 수도 있다. 예를 들어, 차량 시스템은 외부 카메라에 의해 캡처된 이미지들을 분석하고, 차량의 현재 점유율을 묘사할 수도 있는 이미지들을 캡처하기 위한 신호를 하나 또는 다수의 내부 카메라들에게 송신할 수도 있다.

도 5는 예시적인 구현들에 따른, 차량(200)의 내부의 개념적 예시(500)이다. 차량(200)은, 차량 제어 시스템이 보조 요청과 함께 다른 컴퓨팅 시스템에 제공하기 위한 정보를 수집하기 위해 이용할 수도 있는 컴포넌트들을 포함한다. 예를 들어, 차량은, 차량의 점유율이 원하는 점유율을 충족시키는지를 결정하기 위해 인간 오퍼레이터가 검토 및 이용하기 위해 다른 컴퓨팅 시스템에 의해 디스플레이될 수 있는 이미지들 및 오디오를 캡처할 수도 있는 카메라들(508) 및 마이크로폰들(510)을 포함한다.

도 5에 도시된 바와 같이, 차량(200)의 내부는, 촉각 센서들(504)로 구성되는 스티어링 휠(502)뿐만 아니라 멀티미디어 시스템(506), 카메라들(508), 및 마이크로폰들(510)을 포함한다. 이들 센서들은 차량(200)의 현재 점유율을 나타내는 정보를 캡처 및 제공할 수도 있는 잠재적인 센서들을 나타낸다. 컴포넌트들이 조합되는 구현들을 포함하는, 부가적인 구성들이 가능하다. 예를 들어, 멀티미디어 시스템(506), 카메라들(508), 및 마이크로폰들(510)은 별개의 컴포넌트들보다는 오히려 단일 시스템으로서 동작할 수도 있다.

스티어링 휠(502)에 커플링되는 촉각 센서들(504)은 승객의 손들이 스티어링 휠(502)을 잡은 것을 검출하여 차량(200) 내의 승객의 존재를 표시할 수도 있다. 예를 들어, 촉각 센서들(504)은 차량(200)이 자율 동작과 수동 동작 사이에서 전환하는 것이 가능한 상황들에서 차량(200)의 점유율을 나타내는 것을 보조할 수도 있다. 추가의 예에서, 촉각 센서들(504)은 차량(200)이 수동 모드에서 동작하도록 구성될 때 운전자의 존재를 표시할 수도 있다. 일부 구현들에서, 차량(200)은 스티어링 휠(502)이 결여되어 있을 수도 있다. 그 결과, 차량(200)은 다른 포지션들에서의 촉각 센서들(504)을 포함할 수도 있다.

추가의 예에서, 촉각 센서들(504)은 적어도 하나의 잠재적인 승객의 존재를 검출할 수도 있다. 승객의 검출을 수신하는 것에 응답하여, 차량 제어 시스템은 하나 이상의 카메라들(508)로 하여금 차량(200)의 내부를 묘사하는 이미지들을 캡처하게 할 수도 있다.

차량(200)의 중앙에 포지셔닝된 것으로 도시된 멀티미디어 시스템(506)은, 승객들이 차량(200)의 현재 멀티미디어 설정들을 수정하는 것을 가능하게 하는 오디오 및 비디오 요소들을 포함할 수도 있다. 멀티미디어 시스템(506)의 컴포넌트들은 차량(200)의 점유율을 표시할 수도 있는 정보를 캡처할 수도 있다. 예를 들어, 멀티미디어 시스템(506)은 온도, 멀티미디어 시스템(506)에 의해 생성된 오디오(예를 들어, 음악) 또는 오디오비주얼들 등과 같은, 차량(200)의 설정들을 승객이 조정할 때 적어도 하나의 승객의 존재를 검출할 수도 있다. 멀티미디어 시스템(506)에서 수정을 검출하는 것에 응답하여, 하나 이상의 카메라들(508)은 차량(200)의 현재 점유율을 묘사하는 이미지들을 캡처하도록 구성될 수도 있다.

일부 경우들에서, 멀티미디어 시스템(506)은 차량(200)의 다른 센서들에 의해 캡처되는 데이터를 통합할 수도 있다. 예를 들어, 멀티미디어 시스템(506)은 카메라들(508)에 의해 캡처되는 비디오 및 마이크로폰들(510)에 의해 캡처되는 오디오를 이용할 수도 있다. 추가의 예에서, 멀티미디어 시스템(506)은 승객이 다른 컴퓨팅 디바이스들(예를 들어, 원격 컴퓨팅 시스템(302))과의 무선 통신에 관여하는 것을 가능하게 할 수도 있다. 예를 들어, 승객은 컴퓨팅 시스템(302)에 포지셔닝되는 인간 오퍼레이터와의 오디오비주얼 통신에 관여할 수도 있다. 이것은 승객이 컴퓨팅 시스템에서의 오퍼레이터로부터의 도움을 요청하는 것을 가능하게 할 수 있다.

카메라들(508)은 차량(200)의 현재 점유율을 나타내는 이미지들 또는 비디오를 캡처 및 전달할 수도 있는데, 이는 인간 오퍼레이터가 차량(200)의 내부를 뷰잉하는 것을 가능하게 할 수도 있다. 이와 같이, 인간 오퍼레이터는 차량(200)을 점유하고 있는 승객들의 수를 결정하거나 또는 하나 이상의 승객들을 식별하는 것을 보조할 수도 있다. 카메라들(508)의 배향 및 포지션은 예들 내에서 변할 수 있다.

부가적으로, 차량(200)의 내부에 포지셔닝되는 마이크로폰들(510)은, 승객들의 음성들 또는 다른 오디오(예를 들어, 승객이 멀티미디어 시스템(506)에서 음악을 트는 것)를 포함하는, 차량(200) 내측에서 발생하는 오디오를 캡처할 수도 있다. 정보는 마이크로폰들(510)에 의해 캡처되는 상이한 음성들에 기초하여 다수의 승객들의 존재를 전달할 수도 있다.

도 6은 예시적인 구현들에 따른, 차량(200)의 내부의 다른 개념적 예시(600)이다. 도 5에서 묘사된 표현과 유사하게, 개념적 예시(600)는 인간 오퍼레이터가 차량(200)의 차량 제어 시스템을 보조하기 위해 사용하는 것을 가능하게 하기 위한 정보를 다른 컴퓨팅 시스템에 제공하는 데 사용될 수 있는 차량(200)의 센서들의 레이아웃을 나타낸다. 이와 같이, 차량(200)의 내부는, 카메라들(602), 멀티미디어 시스템(604), 안전벨트 센서들(606), 및 차량(200)의 좌석들 내에 포지셔닝되는 촉각 센서들(608)을 포함한다. 카메라들(602) 및 멀티미디어 시스템(604)은 도 5와 관련하여 논의된 카메라들(508) 및 멀티미디어 시스템(506)과 유사하다.

안전벨트 센서들(606)은 안전벨트 사용에 기초하여 차량(200) 내의 승객들의 존재를 검출할 수도 있다. 특히, 각각의 안전벨트 센서(606)는 안전벨트가 승객에 의해 사용될 때를 검출할 수도 있다. 안전벨트 센서들(606)이 리셉터클(receptacle)들에 도시되어 있지만, 이들은 예들 내에서 (예를 들어, 안전벨트의 스트랩 상의) 다른 포지션들을 가질 수도 있다. 카메라들(602)은 안전벨트 센서(606)가 승객에 의한 사용을 검출하는 것에 응답하여 차량(200)의 내부를 묘사하는 하나 또는 다수의 이미지들/비디오를 캡처하도록 트리거될 수도 있다. 추가의 예에서, 차량 제어 시스템은 현재 사용 중인 안전벨트들의 수에 기초하여 차량(200)을 현재 점유하고 있는 승객들의 수를 예측할 수도 있다.

차량(200)의 좌석들은, 차량(200)에서의 승객들의 존재를 측정할 수도 있는 촉각 센서들(608)을 포함한다. 일부 경우들에서, 촉각 센서들(608)은 승객들의 체중들을 표시하는 정보를 제공할 수도 있는데, 이는 원격 인간 오퍼레이터가 승객들에 관한 부가적인 정보(예를 들어, 승객이 성인인지 또는 어린이인지 여부)를 결정하는 것을 보조하는 것을 도울 수도 있다. 카메라들(602)은 촉각 센서(608)가 승객의 존재를 검출하는 것에 응답하여 차량(200)의 내부를 묘사하는 하나 또는 다수의 이미지들/비디오를 캡처하도록 트리거될 수도 있다. 추가의 예에서, 차량 제어 시스템은 촉각 센서들(608)을 사용하여 승객들을 검출한 좌석들의 수에 기초하여 차량(200)을 현재 점유하고 있는 승객들의 수를 예측할 수도 있다.

일부 예시적인 구현들에서, 차량 제어 시스템에 의해 하나 또는 다수의 다른 컴퓨팅 시스템들에 제공되는 점유율 정보는, 차량(200)의 외부에 포지셔닝되는 하나 이상의 센서들로부터의 측정치들을 포함할 수도 있다. 예를 들어, 도 7은, 카메라들(702), 도어 핸들 센서들(704), 및 근접 센서들(706)을 도시하는, 차량(200)의 외부의 개념적 예시(700)이다. 차량(200)의 이들 외부 센서들은, 차량(200)의 점유율이 원하는 점유율을 충족시키는지를 결정하는 것을 보조하는 것을 도울 수도 있는, 차량(200)에 들어가고 나가는 승객들과 관련된 정보를 캡처하도록 구성될 수도 있다. 다른 예들에서, 차량(200)의 외부는, 다른 잠재적인 구성들로 배열되는 보다 많은 또는 보다 적은 센서들을 가질 수 있다.

각각의 카메라(702)는 차량(200)의 도어 또는 다수의 도어들 인근의 영역의 이미지들을 캡처하도록 포지셔닝될 수도 있다. 그러한 구성에 의하면, 카메라들(702)은 차량(200)에 들어가거나 또는 나가는 승객들의 이미지들 및/또는 비디오들을 캡처할 수도 있다. 그 결과, 컴퓨팅 시스템(302)은 카메라들(702)로부터 차량(200)의 하나 이상의 도어들을 통해 차량(200) 내로 들어가는 하나 이상의 승객들의 이미지들 및/또는 비디오를 수신할 수도 있다. 예시적인 구현에서, 내부 카메라들은 하나 이상의 카메라들(702)이 차량(200)에 들어가거나 또는 나가는 승객 또는 승객들의 이미지들을 캡처하는 것에 응답하여 차량(200)의 내부를 묘사하는 이미지들을 캡처하도록 구성될 수도 있다.

도어 핸들 센서들(704)은 차량(200)의 도어들을 개방하여 들어가는 승객들의 손을 검출할 수도 있다. 차량(200)은, 도어들의 내부 핸들들 상에 포지셔닝되는 도어 핸들 센서들을 유사하게 포함할 수도 있다. 근접 센서(706)는 지면에 근접한 차량(200)의 베이스에 포지셔닝된 것으로 도시되어 있다. 도어 핸들 센서들(704)과 유사하게, 근접 센서(706)는 승객들이 차량(200)에 접근함에 따라 잠재적인 승객들의 존재를 검출할 수도 있다. 추가의 예들에서, 외부 카메라들은, 차량의 환경이 (예를 들어, 밤에) 적절한 조명이 결여되어 있을 때 차량에 들어가거나 또는 나가는 승객들의 이미지들을 카메라들이 캡처하는 것을 가능하게 하는 렌즈 및 다른 요소들을 가질 수도 있다. 일부 예들에서, 내부 카메라들 및 마이크로폰들은 도어 핸들 센서들(704) 또는 근접 센서(706)가 차량(200)에 들어가거나 또는 나가는 승객을 검출하는 것에 응답하여 이미지들 및 오디오를 캡처하도록 구성될 수도 있다.

예를 들어, 차량으로부터 원격 위치에 포지셔닝되는 컴퓨팅 시스템(예를 들어, 원격 컴퓨팅 시스템(302))은 차량의 적어도 하나의 센서로부터 점유율 정보를 수신할 수도 있다. 원격 컴퓨팅 시스템(302)은 무선 통신을 통해 차량의 하나 이상의 시스템들과 통신하기 위해 점유율 정보를 이용할 수 있는 인간 오퍼레이터와 연관될 수도 있다.

도 8은 예시적인 구현에 따른, 컴퓨터 프로그램의 개략도이다. 일부 구현들에서, 개시된 방법들은 머신 판독가능 포맷으로 비일시적 컴퓨터 판독가능 저장 매체들 상에서, 또는 다른 비일시적 매체들 또는 제조 물품들 상에서 인코딩되는 컴퓨터 프로그램 명령어들로서 구현될 수도 있다.

예시적인 구현에서, 예시적인 컴퓨터 프로그램 제품(800)이 신호 베어링 매체(802)를 사용하여 제공되는데, 이 신호 베어링 매체(802)는, 하나 이상의 프로세서들에 의해 실행될 때, 도 1 내지 도 7과 관련하여 상술된 기능성 또는 그 기능성의 부분들을 제공할 수도 있는 하나 이상의 프로그래밍 명령어들(804)을 포함할 수도 있다.

일부 예들에서, 신호 베어링 매체(802)는 하드 디스크 드라이브, 콤팩트 디스크(CD), 디지털 비디오 디스크(DVD), 디지털 테이프, 메모리, 원격으로 (예를 들어, 클라우드 상에) 저장하기 위한 컴포넌트들 등과 같은(그러나 이에 제한되지 않음) 비일시적 컴퓨터 판독가능 매체(806)를 포괄할 수도 있다. 일부 구현들에서, 신호 베어링 매체(802)는 메모리, 판독/기입(R/W) CD들, R/W DVD들 등과 같은(그러나 이에 제한되지 않음) 컴퓨터 기록가능 매체(808)를 포괄할 수도 있다.

일부 구현들에서, 신호 베어링 매체(802)는 디지털 및/또는 아날로그 통신 매체(예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같은(그러나 이에 제한되지 않음) 통신 매체(810)를 포괄할 수도 있다. 유사하게, 신호 베어링 매체(802)는 원격 스토리지(예를 들어, 클라우드)에 대응할 수도 있다. 컴퓨팅 시스템은, 정보를 전송 또는 수신하는 것을 포함하여, 정보를 클라우드와 공유할 수도 있다. 예를 들어, 컴퓨팅 시스템은 센서들 또는 다른 엔티티로부터 획득되는 정보를 증대시키기 위해 클라우드로부터 부가적인 정보를 수신할 수도 있다. 따라서, 예를 들어, 신호 베어링 매체(802)는 통신 매체(810)의 무선 형태에 의해 전달될 수도 있다.

하나 이상의 프로그래밍 명령어들(804)은, 예를 들어, 컴퓨터 실행가능 그리고/또는 로직 구현 명령어들일 수도 있다. 일부 예들에서, 도 1의 컴퓨터 시스템(112)과 같은 컴퓨팅 디바이스는 컴퓨터 판독가능 매체(806), 컴퓨터 기록가능 매체(808), 및/또는 통신 매체(810) 중 하나 이상에 의해 컴퓨터 시스템(112)에 전달되는 프로그래밍 명령어들(804)에 응답하여 다양한 동작들, 기능들, 또는 액션들을 제공하도록 구성될 수도 있다.

비일시적 컴퓨터 판독가능 매체는, 서로 원격으로 위치결정될 수 있는 다수의 데이터 저장 요소들 및/또는 클라우드 중에서 (예를 들어, 원격으로) 또한 분산될 수 있다. 저장된 명령어들의 일부 또는 전부를 실행하는 컴퓨팅 디바이스는 도 2에 예시된 차량(200)과 같은 차량일 수 있다. 대안적으로, 저장된 명령어들의 일부 또는 전부를 실행하는 컴퓨팅 디바이스는 서버와 같은 다른 컴퓨팅 디바이스일 수 있다.

상기의 상세한 설명은 첨부 도면들을 참조하여 개시된 시스템들, 디바이스들, 및 방법들의 다양한 피처들 및 기능들을 설명한다. 다양한 양태들 및 실시예들이 본 명세서에 개시되었지만, 다른 양태들 및 실시예들이 명백해질 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 예시의 목적들을 위한 것이고 제한하려는 것으로 의도된 것이 아니며, 진정한 범주는 다음의 청구범위에 의해 나타내어진다.

Claims

방법으로서,
컴퓨팅 시스템에서, 차량의 내부의 이미지를 수신하는 단계 - 상기 이미지는 상기 차량 내측에 포지셔닝되는 카메라로부터 수신됨 -;
그래픽 사용자 인터페이스 상에서 상기 컴퓨팅 시스템에 의해, 상기 차량의 내부가 승객이 두고 간 객체를 포함하는지 여부를 결정하는 요청과 함께 상기 이미지를 디스플레이하는 단계;
상기 컴퓨팅 시스템에서, 상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 수신하는 단계; 및
상기 컴퓨팅 시스템에 의해 상기 차량의 차량 컴퓨팅 시스템에, 상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 제공하는 단계
를 포함하고,
상기 차량 컴퓨팅 시스템은 상기 확인을 수신하는 것에 응답하여 자율 동작을 실행하도록 구성되는, 방법.
제1항에 있어서, 상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 제공하는 단계는
내비게이션을 진행하는 명령어들을 제공하는 단계를 더 포함하는, 방법.
제1항에 있어서,
상기 차량의 내부가 하나 이상의 객체를 포함한다는 표시를 수신하는 단계; 및
상기 차량의 내부가 하나 이상의 객체를 포함한다는 표시를 상기 차량의 상기 차량 컴퓨팅 시스템에 제공하는 단계
를 더 포함하는 방법.
제3항에 있어서, 상기 차량의 내부가 하나 이상의 객체를 포함한다는 표시를 수신하는 단계는
상기 차량의 내부에 위치한 주어진 객체를 식별하는 입력을 수신하는 단계를 포함하고,
상기 표시를 제공하는 단계는
상기 주어진 객체의 식별에 기초하여 명령어들을 제공하는 단계를 포함하는, 방법.
제4항에 있어서, 상기 주어진 객체의 식별에 기초하여 명령어들을 제공하는 단계는
상기 차량을 고정되도록 유지시키는 단계를 포함하는, 방법.
제1항에 있어서, 상기 컴퓨팅 시스템은 상기 차량으로부터 원격으로 포지셔닝되는, 방법.
제1항에 있어서, 상기 컴퓨팅 시스템은 상기 승객과 연관된 개인용 컴퓨팅 디바이스에 대응하는, 방법.
제1항에 있어서, 상기 차량의 내부의 이미지를 수신하는 단계는
상기 차량의 내부의 이미지들의 세트를 수신하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 차량의 내부에 포지셔닝되는 마이크로폰을 통해 오디오를 수신하는 단계
를 더 포함하는 방법.
제1항에 있어서,
촉각 센서를 통해 상기 승객이 상기 차량에서 나갔다고 표시하는 센서 데이터를 획득하는 단계
를 더 포함하고,
상기 촉각 센서는 상기 차량 내측의 안전벨트(seatbelt)에 결합되는, 방법.
제1항에 있어서, 상기 차량의 내부가 상기 객체를 포함하는지 여부를 결정하는 요청과 함께 상기 이미지를 디스플레이하는 단계는
상기 내부가 상기 승객이 두고 간 상기 객체를 포함한다는 것의 확인 또는 거부(denial)를 요청하는 텍스트와 함께 상기 이미지를 디스플레이하는 단계를 포함하는, 방법.
제11항에 있어서,
상기 승객에 대한 프로파일 정보를 디스플레이하는 단계
를 더 포함하는 방법.
시스템으로서,
차량 컴퓨팅 시스템을 갖는 차량; 및
상기 차량으로부터 원격으로 포지셔닝되는 컴퓨팅 디바이스
를 포함하고, 상기 컴퓨팅 디바이스는
차량의 내부의 이미지를 수신하고 - 상기 이미지는 상기 차량 내측에 포지셔닝되는 카메라로부터 수신됨 -;
그래픽 사용자 인터페이스 상에서, 상기 차량의 내부가 승객이 두고 간 객체를 포함하는지 여부를 결정하는 요청과 함께 상기 이미지를 디스플레이하고;
상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 수신하고;
상기 차량의 차량 컴퓨팅 시스템에, 상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 제공하도록 구성되고,
상기 차량 컴퓨팅 시스템은 상기 확인을 수신하는 것에 응답하여 자율 동작을 실행하도록 구성되는, 시스템.
제13항에 있어서, 상기 컴퓨팅 디바이스는
상기 차량의 상기 차량 컴퓨팅 시스템에, 후속 승객에 내비게이션을 진행하는 명령어들을 제공하도록 더 구성되는, 시스템.
제13항에 있어서, 상기 컴퓨팅 디바이스는
상기 차량의 내부의 상기 이미지에 더하여, 상기 승객이 상기 차량에서 나갔다는 표시를 수신하도록 더 구성되는, 시스템.
제13항에 있어서, 상기 컴퓨팅 디바이스는 상기 승객의 개인용 컴퓨팅 디바이스인, 시스템.
제13항에 있어서, 상기 컴퓨팅 디바이스는 상기 차량으로부터 원격으로 포지셔닝되는, 시스템.
제13항에 있어서, 상기 컴퓨팅 디바이스는
상기 차량 컴퓨팅 시스템에 상기 승객이 두고 간 상기 객체의 식별을 송신하도록 더 구성되고,
상기 차량 컴퓨팅 시스템은 상기 객체의 식별을 수신하는 것에 기초하여, 상기 차량이 고정되도록 유지시키도록 구성되는, 시스템.
제13항에 있어서, 상기 컴퓨팅 디바이스는
컴퓨터 비전 기술들을 통해 상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 생성하도록 더 구성되는, 시스템.
컴퓨팅 시스템으로 하여금 기능들을 수행하게 하도록 하나 이상의 프로세서에 의해 실행가능한 명령어들을 내부에 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 기능들은
차량의 내부의 이미지를 수신하고 - 상기 이미지는 상기 차량 내측에 포지셔닝되는 카메라로부터 수신됨 -;
그래픽 사용자 인터페이스 상에서, 상기 차량의 내부가 승객이 두고 간 객체를 포함하는지 여부를 결정하는 요청과 함께 상기 이미지를 디스플레이하고;
상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 수신하고;
상기 차량의 차량 컴퓨팅 시스템에, 상기 차량의 내부가 상기 객체를 결여하고 있다는 확인을 제공하는 것을 포함하고,
상기 차량 컴퓨팅 시스템은 상기 확인을 수신하는 것에 응답하여 자율 동작을 실행하도록 구성되는, 비일시적 컴퓨터 판독가능 매체.