fix: crash when calling llama_state_get_size on a context without a KV cache (ggml-org#13542)

giladgd · web-flow · commit 017f10b5fa63 · 2025-05-14T19:18:18.000+03:00
diff --git a/src/llama-context.cpp b/src/llama-context.cpp
@@ -1704,10 +1704,12 @@ size_t llama_context::state_write_data(llama_io_write_i & io) {
         }
     }
 
-    LLAMA_LOG_DEBUG("%s: - writing KV self\n", __func__);
     llama_kv_cache * kv_self = static_cast<llama_kv_cache *>(memory.get());
-
-    kv_self->state_write(io);
+    
+    if (kv_self != nullptr) {
+        LLAMA_LOG_DEBUG("%s: - writing KV self\n", __func__);
+        kv_self->state_write(io);
+    }
 
     return io.n_bytes();
 }

Original file line number	Diff line number	Diff line change
`@@ -1704,10 +1704,12 @@ size_t llama_context::state_write_data(llama_io_write_i & io) {`
`1704`	`1704`	`}`
`1705`	`1705`	`}`
`1706`	`1706`
`1707`		`- LLAMA_LOG_DEBUG("%s: - writing KV self\n", __func__);`
`1708`	`1707`	`llama_kv_cache * kv_self = static_cast<llama_kv_cache *>(memory.get());`
`1709`		`-`
`1710`		`- kv_self->state_write(io);`
	`1708`	`+`
	`1709`	`+ if (kv_self != nullptr) {`
	`1710`	`+ LLAMA_LOG_DEBUG("%s: - writing KV self\n", __func__);`
	`1711`	`+ kv_self->state_write(io);`
	`1712`	`+ }`
`1711`	`1713`
`1712`	`1714`	`return io.n_bytes();`
`1713`	`1715`	`}`