ModelInput
class mint.types.ModelInput ( StrictBase )¶
字段:
- chunks ( List [ModelInputChunk ] ) – 输入 chunk 序列(原 TokenSequence)
from_ints ( tokens )¶
从一组 int(token)列表创建 ModelInput。
参数:
- tokens ( List[int] )
返回: ModelInput
to_ints ()¶
将 ModelInput 转换为 int(token)列表。 若存在任何非 token chunk,则抛出异常。
返回: List[int]
property length¶
返回该 ModelInput 使用的总上下文长度。
返回: int
empty ()¶
创建一个空的 ModelInput。
返回: ModelInput
append ( chunk )¶
添加一个新 chunk,返回新的 ModelInput。
参数:
- chunk ( ModelInputChunk )
返回: ModelInput
append_int ( token )¶
添加一个新 token,返回新的 ModelInput。
参数:
- token ( int )
返回: ModelInput
被引用¶
- SamplingClient.compute_logprobs
- SamplingClient.sample
- mint.types.Datum