Add static methods for beginning and end of sequence tokens.

abetlen · abetlen · commit 67c70cc8ebfc · 2023-04-01T17:29:30.000-04:00
diff --git a/docs/index.md b/docs/index.md
@@ -69,6 +69,8 @@ python3 setup.py develop
             - create_embedding
             - create_completion
             - __call__
+            - token_bos
+            - token_eos
         show_root_heading: true
 
 ::: llama_cpp.llama_cpp
diff --git a/llama_cpp/llama.py b/llama_cpp/llama.py
@@ -446,3 +446,13 @@ def __del__(self):
         if self.ctx is not None:
             llama_cpp.llama_free(self.ctx)
             self.ctx = None
+
+    @staticmethod
+    def token_eos() -> llama_cpp.llama_token:
+        """Return the end-of-sequence token."""
+        return llama_cpp.llama_token_eos()
+
+    @staticmethod
+    def token_bos() -> llama_cpp.llama_token:
+        """Return the beginning-of-sequence token."""
+        return llama_cpp.llama_token_bos()
