Ulmer debuteerde op 11 februari 2009 onder bondscoach Karel Brückner in het Oostenrijks voetbalelftal. Hij viel toen in de 78e minuut in voor Marko Arnautović in een met 0–2 verloren oefeninterland tegen Zweden. Nadat hij dat jaar nog een interland speelde, duurde het tot november 2014 voor hij weer werd opgeroepen en daarna tot november 2017. Bondscoach Franco Foda gebruikte hem vanaf dat moment als basisspeler in de UEFA Nations League en de kwalificatie voor het EK 2020.
Red Bull Salzburg
· 
· 
·
3 Terzić ·
4 Blank ·
5 Okoh ·
6 S. Baidoo ·
7 Capaldo ·
8 Bajcetic ·
10 Clark ·
11 Fernando ·
14 Kjærgaard ·
15 Diambou ·
16 Kawamura ·
18 Bidstrup ·
19 Konaté ·
20 E. Baidoo ·
21 Ratkov ·
23 Gadou ·
24 Schlager ·
27 Gourna-Douath ·
28 Daghim ·
29 Guindo ·
30 Gloukh ·
36 Mellberg ·
39 Morgalla ·
45 Nene ·
49 Yeo ·
55 Wallner ·
70 Dedić ·
81 Diakité ·
91 Piątkowski ·
Coach: Lijnders