| Safe Haskell | None |
|---|---|
| Language | Haskell2010 |
Llama.Internal.Foreign.Sampler
Synopsis
- c_llama_sampler_init_greedy :: IO (Ptr LlamaSampler)
- c_llama_sampler_init_dist :: CUInt -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_top_k :: CInt -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_top_p :: CFloat -> CSize -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_min_p :: CFloat -> CSize -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_typical :: CFloat -> CSize -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_temp :: CFloat -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_temp_ext :: CFloat -> CFloat -> CFloat -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_xtc :: CFloat -> CFloat -> CSize -> CUInt -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_top_n_sigma :: CFloat -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_mirostat :: CInt -> CUInt -> CFloat -> CFloat -> CInt -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_mirostat_v2 :: CUInt -> CFloat -> CFloat -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_grammar :: CLlamaVocab -> CString -> CString -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_grammar_lazy_patterns :: CLlamaVocab -> CString -> CString -> Ptr CString -> CSize -> Ptr LlamaToken -> CSize -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_penalties :: CInt -> CFloat -> CFloat -> CFloat -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_dry :: CLlamaVocab -> CInt -> CFloat -> CFloat -> CInt -> CInt -> Ptr CString -> CSize -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_logit_bias :: CInt -> CInt -> Ptr LlamaLogitBias -> IO (Ptr LlamaSampler)
- c_llama_sampler_init_infill :: CLlamaVocab -> IO (Ptr LlamaSampler)
- c_llama_sampler_sample :: Ptr LlamaSampler -> CLlamaContext -> CInt -> IO LlamaToken
- c_llama_sampler_get_seed :: Ptr LlamaSampler -> IO CUInt
- c_llama_sampler_chain_default_params_into :: Ptr LlamaSamplerChainParams -> IO ()
- c_llama_sampler_init :: Ptr LlamaSamplerI -> LlamaSamplerContext -> IO (Ptr LlamaSampler)
- c_llama_sampler_name :: Ptr LlamaSampler -> IO CString
- c_llama_sampler_accept :: Ptr LlamaSampler -> LlamaToken -> IO ()
- c_llama_sampler_apply :: Ptr LlamaSampler -> Ptr LlamaTokenDataArray -> IO ()
- c_llama_sampler_reset :: Ptr LlamaSampler -> IO ()
- c_llama_sampler_clone :: Ptr LlamaSampler -> IO (Ptr LlamaSampler)
- p_llama_sampler_free :: FinalizerPtr LlamaSampler
- c_llama_sampler_free :: Ptr LlamaSampler -> IO ()
- c_llama_sampler_chain_init :: LlamaSamplerChainParams -> IO (Ptr LlamaSampler)
- c_llama_sampler_chain_add :: Ptr LlamaSampler -> Ptr LlamaSampler -> IO ()
- c_llama_sampler_chain_get :: Ptr LlamaSampler -> CInt -> IO (Ptr LlamaSampler)
- c_llama_sampler_chain_n :: Ptr LlamaSampler -> IO CInt
- c_llama_sampler_chain_remove :: Ptr LlamaSampler -> CInt -> IO (Ptr LlamaSampler)
Documentation
c_llama_sampler_init_greedy :: IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_greedy(void);
c_llama_sampler_init_dist :: CUInt -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_dist(uint32_t seed);
c_llama_sampler_init_top_k :: CInt -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_top_k(int32_t k);
c_llama_sampler_init_top_p :: CFloat -> CSize -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_top_p(float p, size_t min_keep);
c_llama_sampler_init_min_p :: CFloat -> CSize -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_min_p(float p, size_t min_keep);
c_llama_sampler_init_typical :: CFloat -> CSize -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_typical(float p, size_t min_keep);
c_llama_sampler_init_temp :: CFloat -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_temp(float t);
c_llama_sampler_init_temp_ext :: CFloat -> CFloat -> CFloat -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_temp_ext(float t, float delta, float exponent);
c_llama_sampler_init_xtc :: CFloat -> CFloat -> CSize -> CUInt -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_xtc(float p, float t, size_t min_keep, uint32_t seed);
c_llama_sampler_init_top_n_sigma :: CFloat -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_top_n_sigma(float n);
c_llama_sampler_init_mirostat :: CInt -> CUInt -> CFloat -> CFloat -> CInt -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_mirostat(int32_t n_vocab, uint32_t seed, float tau, float eta, int32_t m);
c_llama_sampler_init_mirostat_v2 :: CUInt -> CFloat -> CFloat -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_mirostat_v2(uint32_t seed, float tau, float eta);
c_llama_sampler_init_grammar :: CLlamaVocab -> CString -> CString -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_grammar(const struct llama_vocab * vocab, const char * grammar_str, const char * grammar_root);
c_llama_sampler_init_grammar_lazy_patterns :: CLlamaVocab -> CString -> CString -> Ptr CString -> CSize -> Ptr LlamaToken -> CSize -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_grammar_lazy_patterns( | const struct llama_vocab * vocab, | const char * grammar_str, | const char * grammar_root, | const char ** trigger_patterns, | size_t num_trigger_patterns, | const llama_token * trigger_tokens, | size_t num_trigger_tokens);
c_llama_sampler_init_penalties :: CInt -> CFloat -> CFloat -> CFloat -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_penalties( | int32_t penalty_last_n, | float penalty_repeat, | float penalty_freq, | float penalty_present);
c_llama_sampler_init_dry :: CLlamaVocab -> CInt -> CFloat -> CFloat -> CInt -> CInt -> Ptr CString -> CSize -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_dry( | const struct llama_vocab * vocab, | int32_t n_ctx_train, | float dry_multiplier, | float dry_base, | int32_t dry_allowed_length, | int32_t dry_penalty_last_n, | const char ** seq_breakers, | size_t num_breakers);
c_llama_sampler_init_logit_bias :: CInt -> CInt -> Ptr LlamaLogitBias -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_logit_bias( | int32_t n_vocab, | int32_t n_logit_bias, | const llama_logit_bias * logit_bias);
c_llama_sampler_init_infill :: CLlamaVocab -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init_infill(const struct llama_vocab * vocab);
c_llama_sampler_sample :: Ptr LlamaSampler -> CLlamaContext -> CInt -> IO LlamaToken Source #
LLAMA_API llama_token llama_sampler_sample(struct llama_sampler * smpl, struct llama_context * ctx, int32_t idx);
c_llama_sampler_get_seed Source #
Arguments
| :: Ptr LlamaSampler | |
| -> IO CUInt | Returns seed used by the sampler |
LLAMA_API uint32_t llama_sampler_get_seed(const struct llama_sampler * smpl);
c_llama_sampler_init :: Ptr LlamaSamplerI -> LlamaSamplerContext -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_init(const struct llama_sampler_i * iface, llama_sampler_context_t ctx);
c_llama_sampler_name :: Ptr LlamaSampler -> IO CString Source #
LLAMA_API const char * llama_sampler_name(const struct llama_sampler * smpl);
c_llama_sampler_accept :: Ptr LlamaSampler -> LlamaToken -> IO () Source #
LLAMA_API void llama_sampler_accept(struct llama_sampler * smpl, llama_token token);
c_llama_sampler_apply :: Ptr LlamaSampler -> Ptr LlamaTokenDataArray -> IO () Source #
LLAMA_API void llama_sampler_apply(struct llama_sampler * smpl, llama_token_data_array * cur_p);
c_llama_sampler_reset :: Ptr LlamaSampler -> IO () Source #
LLAMA_API void llama_sampler_reset(struct llama_sampler * smpl);
c_llama_sampler_clone :: Ptr LlamaSampler -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_clone(const struct llama_sampler * smpl);
p_llama_sampler_free :: FinalizerPtr LlamaSampler Source #
Foreign pointer to the C function for freeing the SamplerChain.
c_llama_sampler_free :: Ptr LlamaSampler -> IO () Source #
LLAMA_API void llama_sampler_free(struct llama_sampler * smpl);
c_llama_sampler_chain_init :: LlamaSamplerChainParams -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_chain_init(struct llama_sampler_chain_params params);
c_llama_sampler_chain_add :: Ptr LlamaSampler -> Ptr LlamaSampler -> IO () Source #
LLAMA_API void llama_sampler_chain_add(struct llama_sampler * chain, struct llama_sampler * smpl);
c_llama_sampler_chain_get :: Ptr LlamaSampler -> CInt -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_chain_get(const struct llama_sampler * chain, int32_t i);
c_llama_sampler_chain_n :: Ptr LlamaSampler -> IO CInt Source #
LLAMA_API int llama_sampler_chain_n(const struct llama_sampler * chain);
c_llama_sampler_chain_remove :: Ptr LlamaSampler -> CInt -> IO (Ptr LlamaSampler) Source #
LLAMA_API struct llama_sampler * llama_sampler_chain_remove(struct llama_sampler * chain, int32_t i);