Kramer fu scelto come quarto assoluto nel Draft NFL 1957 dai Green Bay Packers. Nella sua stagione da rookie disputò 11 partite e ricevette 28 passaggi per 337 yard. Nel 1958 saltò l'intera stagione per servire nell'Aeronautica,[1] e i Packers ebbero il peggior record della lega, 1–10–1.
Kramer fece ritorno ai Packers nel 1959 ma non ricevette alcun passaggio, mentre ne ricevette 4 nel 1960. La svolta avvenne quando fu spostato nel ruolo di tight end nel 1961; quell'anno ricevette 35 passaggi per 559 yard e 4 touchdown. Nel 1962 totalizzò 37 ricezioni per 555 yard e 7 marcature venendo convocato per il Pro Bowl e inserito nel First-team All-Pro. Dal 1961 al 1964 ricevette almeno 500 yard in ogni stagione, a una media di 16 yard a ricezione. Fu parte integrante delle squadre guidate da Vince Lombardi che vinsero il campionato nel 1961 e 1962, i primi titoli per Green Bay dal 1944. Nella finale del 1961, una vittoria per 37-0 sui New York Giants, Kramer fu il miglior ricevitore, ricevendo 4 passaggi per 80 yard e 2 touchdown.[2] Oltre al suo talento come ricevitore, Kramer era anche un ottimo bloccatore.
Nel 1965 Kramer chiese di essere ceduto ai Detroit Lions per essere più vicino alla famiglia. Con essi disputò le ultime tre stagioni della carriera.