跳转至

SampleResponse

class mint.types.SampleResponse ()

采样请求的响应。

包含生成的序列以及可选的 prompt 级对数概率。NumPy 字段提供直接数组访问，无需格式转换；对应的 Python 列表属性在首次访问时惰性转换。

字段：

  • sequences ( Sequence [SampledSequence ] ) – 生成的序列。每条包含 token ID、可选 logprobs 与停止原因。
  • prompt_logprobs_np ( Optional[np.ndarray] ) – prompt 中每个 token 的对数概率，一维 float32 numpy 数组，形状 (prompt_length,)。未计算 logprobs 的位置（例如第一个 prompt token）为 NaN。未请求 prompt logprobs 时为 None。
  • topk_prompt_logprobs_np ( Optional [TopkPromptLogprobs ] ) – top-k prompt logprobs，为一对稠密矩阵（见 TopkPromptLogprobs）。未请求 top-k 时为 None。
  • prompt_cache_hit_tokens ( int ) – 计为前缀缓存命中的 prompt token 数。

按 prompt 本身统计：当 num_samples > 1 时 prompt 是共享的，因此不会按样本数相乘。共享 prompt 上其余样本（即 num_samples - 1 个）的 prefill 计为缓存命中。

prompt_logprobs ()

prompt 中每个 token 的对数概率，以 Python 列表形式返回。

若请求中将 prompt_logprobs 设为 true，则对 prompt 中每个 token 计算对数概率。每个元素是一个 float，或 None（未计算 logprobs 的位置，例如第一个 prompt token）。未请求 prompt logprobs 时返回 None。

从 prompt_logprobs_np 在首次访问时转换（之后缓存）。

返回： Optional[List[Optional[float]]]

topk_prompt_logprobs ()

top-k prompt logprobs，以嵌套 Python 列表形式返回。

若请求中将 topk_prompt_logprobs 设为正整数 k，则对 prompt 中每个 token 计算 top-k 对数概率。对 prompt 的每个位置：一个最多包含 k 个 (token_id, logprob) 元组的列表，或 None（未计算 logprobs 的位置）。未请求 top-k 时返回 None。

从 topk_prompt_logprobs_np 在首次访问时转换（之后缓存）。

返回： Optional [list Optional[ [list [tuple[int, float]]]]]

被引用

  • SamplingClient.sample