Óliver werd in 2008 op dertienjarige leeftijd opgenomen in de jeugdopleiding van Atlético Madrid. Hierin bracht hij vier jaar door, waarna coach Diego Simeone hem bij het eerste elftal haalde. Óliver debuteerde daarvoor op 19 augustus 2012. Op de eerste speeldag verving hij uit bij Levante na 64 minuten Adrián. De wedstrijd eindigde in 1-1.[2] Zijn tweede wedstrijd volgde op 31 oktober 2012, toen hij Cristian Rodríguez verving na 77 minuten in het met 0-3 gewonnen Copa del Rey-duel tegen Real Jaén.[3] Op 10 oktober 2013 debuteerde de offensief ingestelde middenvelder ook in de UEFA Champions League, tegen FC Porto. Hij was toen 18 jaar en 10 maanden oud.[4] Óliver scoorde op 27 oktober 2013 zijn eerste doelpunt in het shirt van Los Colchoneros, tijdens een 5-0 thuisoverwinning tegen Real Betis. Hij scoorde na exact twaalf seconden op aangeven van Koke.[5] Atlético Madrid verhuurde Óliver in januari 2014 voor zes maanden aan reeksgenoot Villarreal CF, waarvoor hij negen competitieduels speelde. Gedurende het seizoen 2014/15 werd hij verhuurd FC Porto. De Spanjaard maakte zeven doelpunten in zesentwintig duels in de Primeira Liga, waarna hij in 2015 terugkeerde naar Atlético Madrid. Bij zijn terugkeer mocht Óliver meteen in de basiself starten tegen Las Palmas.[6]