| Safe Haskell | None |
|---|---|
| Language | Haskell2010 |
Llama.Internal.Foreign.Vocab
Synopsis
- c_llama_n_vocab :: CLlamaVocab -> IO CInt
- c_llama_vocab_n_tokens :: CLlamaVocab -> IO CInt
- c_llama_vocab_get_text :: CLlamaVocab -> LlamaToken -> IO CString
- c_llama_vocab_get_score :: CLlamaVocab -> LlamaToken -> IO CFloat
- c_llama_vocab_get_attr :: CLlamaVocab -> LlamaToken -> IO CInt
- c_llama_vocab_is_eog :: CLlamaVocab -> LlamaToken -> IO CBool
- c_llama_vocab_is_control :: CLlamaVocab -> LlamaToken -> IO CBool
- c_llama_vocab_bos :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_eos :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_eot :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_sep :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_nl :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_pad :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_get_add_bos :: CLlamaVocab -> IO CBool
- c_llama_vocab_get_add_eos :: CLlamaVocab -> IO CBool
- c_llama_vocab_fim_pre :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_fim_suf :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_fim_mid :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_fim_pad :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_fim_rep :: CLlamaVocab -> IO LlamaToken
- c_llama_vocab_fim_sep :: CLlamaVocab -> IO LlamaToken
Documentation
c_llama_n_vocab :: CLlamaVocab -> IO CInt Source #
c_llama_vocab_get_text :: CLlamaVocab -> LlamaToken -> IO CString Source #
LLAMA_API const char * llama_vocab_get_text(const struct llama_vocab * vocab, llama_token token);
c_llama_vocab_get_score :: CLlamaVocab -> LlamaToken -> IO CFloat Source #
LLAMA_API float llama_vocab_get_score(const struct llama_vocab * vocab, llama_token token);
c_llama_vocab_get_attr Source #
Arguments
| :: CLlamaVocab | |
| -> LlamaToken | |
| -> IO CInt | Returns raw integer representing enum value |
LLAMA_API enum llama_token_attr llama_vocab_get_attr(const struct llama_vocab * vocab, llama_token token);
c_llama_vocab_is_eog :: CLlamaVocab -> LlamaToken -> IO CBool Source #
LLAMA_API bool llama_vocab_is_eog(const struct llama_vocab * vocab, llama_token token);
c_llama_vocab_is_control :: CLlamaVocab -> LlamaToken -> IO CBool Source #
LLAMA_API bool llama_vocab_is_control(const struct llama_vocab * vocab, llama_token token);
c_llama_vocab_bos :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_bos(const struct llama_vocab * vocab); // beginning-of-sentence
c_llama_vocab_eos :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_eos(const struct llama_vocab * vocab); // end-of-sentence
c_llama_vocab_eot :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_eot(const struct llama_vocab * vocab); // end-of-turn
c_llama_vocab_sep :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_sep(const struct llama_vocab * vocab); // sentence separator
c_llama_vocab_nl :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_nl (const struct llama_vocab * vocab); // next-line
c_llama_vocab_pad :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_pad(const struct llama_vocab * vocab); // padding
c_llama_vocab_get_add_bos :: CLlamaVocab -> IO CBool Source #
LLAMA_API bool llama_vocab_get_add_bos(const struct llama_vocab * vocab);
c_llama_vocab_get_add_eos :: CLlamaVocab -> IO CBool Source #
LLAMA_API bool llama_vocab_get_add_eos(const struct llama_vocab * vocab);
c_llama_vocab_fim_pre :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_fim_pre(const struct llama_vocab * vocab);
c_llama_vocab_fim_suf :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_fim_suf(const struct llama_vocab * vocab);
c_llama_vocab_fim_mid :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_fim_mid(const struct llama_vocab * vocab);
c_llama_vocab_fim_pad :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_fim_pad(const struct llama_vocab * vocab);
c_llama_vocab_fim_rep :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_fim_rep(const struct llama_vocab * vocab);
c_llama_vocab_fim_sep :: CLlamaVocab -> IO LlamaToken Source #
LLAMA_API llama_token llama_vocab_fim_sep(const struct llama_vocab * vocab);