@@ -310,8 +310,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
310
310
# LLAMA_VOCAB_PRE_TYPE_DBRX = 13,
311
311
# LLAMA_VOCAB_PRE_TYPE_SMAUG = 14,
312
312
# LLAMA_VOCAB_PRE_TYPE_PORO = 15,
313
- # LLAMA_VOCAB_PRE_TYPE_VIKING = 16,
314
- # LLAMA_VOCAB_PRE_TYPE_JAIS = 17,
313
+ # LLAMA_VOCAB_PRE_TYPE_CHATGLM3 = 16,
314
+ # LLAMA_VOCAB_PRE_TYPE_CHATGLM4 = 17,
315
+ # LLAMA_VOCAB_PRE_TYPE_VIKING = 18,
316
+ # LLAMA_VOCAB_PRE_TYPE_JAIS = 19,
315
317
# };
316
318
LLAMA_VOCAB_PRE_TYPE_DEFAULT = 0
317
319
LLAMA_VOCAB_PRE_TYPE_LLAMA3 = 1
@@ -329,8 +331,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
329
331
LLAMA_VOCAB_PRE_TYPE_DBRX = 13
330
332
LLAMA_VOCAB_PRE_TYPE_SMAUG = 14
331
333
LLAMA_VOCAB_PRE_TYPE_PORO = 15
332
- LLAMA_VOCAB_PRE_TYPE_VIKING = 16
333
- LLAMA_VOCAB_PRE_TYPE_JAIS = 17
334
+ LLAMA_VOCAV_PRE_TYPE_CHATGLM3 = 16
335
+ LLAMA_VOCAB_PRE_TYPE_CHATGLM4 = 17
336
+ LLAMA_VOCAB_PRE_TYPE_VIKING = 18
337
+ LLAMA_VOCAB_PRE_TYPE_JAIS = 19
334
338
335
339
336
340
# // note: these values should be synchronized with ggml_rope
0 commit comments