DataLearner 标志DataLearnerAI
AI技术博客
大模型评测排行
大模型评测基准
AI大模型大全
AI资源仓库
AI工具导航

加载中...

DataLearner 标志DataLearner AI

专注大模型评测、数据资源与实践教学的知识平台，持续更新可落地的 AI 能力图谱。

产品

  • 评测榜单
  • 模型对比
  • 数据资源

资源

  • 部署教程
  • 原创内容
  • 工具导航

关于

  • 关于我们
  • 隐私政策
  • 数据收集方法
  • 联系我们

© 2026 DataLearner AI. DataLearner 持续整合行业数据与案例，为科研、企业与开发者提供可靠的大模型情报与实践指南。

隐私政策服务条款
  1. 首页/
  2. 博客/
  3. 标签：tokenizer
标签

「tokenizer」相关文章

汇总「tokenizer」相关的原创 AI 技术文章与大模型实践笔记，持续更新。

标签:#tokenizer
OpenAI开源GPT-2的子词标记化神器——tiktoken，一个超级快的（Byte Pair Encoder，BPE）字节对编码Python库

OpenAI开源GPT-2的子词标记化神器——tiktoken，一个超级快的（Byte Pair Encoder，BPE）字节对编码Python库

OpenAI在其官方GitHub上公开了一个最新的开源Python库：tiktoken，这个库主要是用力做字节对编码的。相比较HuggingFace的tokenizer，其速度提升了好几倍。

2022/12/16 21:11:164,441
#OpenAI#tokenizer

专题合集

RAG（检索增强生成）Long Context 长上下文AI Agent 实践

最热博客

  • 1Dirichlet Distribution（狄利克雷分布）与Dirichlet Process（狄利克雷过程）
  • 2回归模型中的交互项简介（Interactions in Regression）
  • 3贝塔分布（Beta Distribution）简介及其应用
  • 4矩母函数简介（Moment-generating function）
  • 5普通最小二乘法（Ordinary Least Squares，OLS）的详细推导过程
  • 6使用R语言进行K-means聚类并分析结果
  • 7深度学习技巧之Early Stopping（早停法）
  • 8手把手教你本地部署清华大学的ChatGLM-6B模型——Windows+6GB显卡本地部署

今日推荐

  • OpenAI 未来计划曝光！Sam Altman 一句话暗示开源 GPT？~Sam在1月31日举办的AMA中问答记录总结
  • 贝叶斯统计中的一些基本的概念和方法介绍
  • 阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型：MMLU评测接近Llama-3-70B，略超Mixtral-8×22B！
  • 使用Spring Security进行登录验证
  • 微软开源140亿参数规模的Phi-4推理版本大模型：多项评测结果超过OpenAI o1-mini，单张4090可运行，完全免费开源
  • IFBench：大模型指令跟随能力评测基准详解
  • 深度学习的反向传播手动推导
  • 阿里开源全新编程大模型Qwen3-Coder-480B-A35B，官方宣称其编程水平接近Claude Sonnet 4，免费开源可商用，同时开源Claude Code免费平替选择Qwen Code