FlashTokenizer: 基于C++的高性能分词引擎，速度可以提升8-15倍
FlashTokenizer是一款面向高性能计算的CPU分词引擎，专门针对BERT等Transformer架构的大型语言模型进行了底层优化。该引擎基于高效C++实现，采用了多项性能优化技术，确保在维持词元切分准确性的同时，大幅提升处理速度。
【pkuseg】由于网络策略组织下载请求，因此直接在github中下载细分领域模型medicine
用户可以使用自己的标注数据来训练专门的分词模型，进一步提升分词效果在特定应用场景中的表现。
