跳转至

SampledSequence

class mint.types.SampledSequence ()

模型采样出的单条序列。

提供两种访问 token 数据的方式:

  • NumPy 数组( tokens_np 、 logprobs_np ):以 numpy 数组形式获取,不做格式转换。
  • Python 列表( tokens 、 logprobs ):标准 Python 列表,在首次访问时惰性转换。

字段:

  • stop_reason ( StopReason ) – 采样停止的原因。
  • tokens_np ( Optional[np.ndarray] ) – 生成 token ID,一维 int32 numpy 数组,形状 (num_tokens,)。
  • logprobs_np ( Optional[np.ndarray] ) – 每个生成 token 的对数概率,一维 float32 numpy 数组,形状 (num_tokens,)。未请求 logprobs 时为 None。

tokens ()

生成 token ID 的 Python 列表。

从 tokens_np 在首次访问时转换(之后缓存)。

返回: List[int]

logprobs ()

每个生成 token 的对数概率(可选)。

未请求 logprobs 时为 None。从 logprobs_np 在首次访问时转换(之后缓存)。

返回: Optional[List[float]]

被引用

  • mint.types.SampleResponse