Lee debuttò nella NFL nel 1966 con i Baltimore Colts, squadra con cui avrebbe passato tutta la carriera. Nella sua stagione da rookie guidò la lega in yard medie per punt. Nel 1968 vinse ancora il titolo di miglior punter ma i Colts furono battuti a sorpresa dai New York Jets nel Super Bowl III. Due anni dopo Baltimore batté i Dallas Cowboys 16-13 in una partita in cui Lee fece registrare un record dell'evento calciando un punt da 76 yard.[1] Si ritirò dopo la stagione 1978 e in seguito divenne un dirigente della General Motors.