分块

Chonkie是一个为检索增强型生成（RAG）应用设计的文本分块库，它轻量级、快速，并且易于使用。该库提供了多种文本分块方法，支持多种分词器，并且具有高性能。Chonkie的主要优点包括丰富的功能、易用性、快速处理速度、广泛的支持和轻量级的设计。它适用于需要高效处理文本数据的开发者和研究人员，特别是在自然语言处理和机器学习领域。Chonkie是开源的，遵循MIT许可证，可以免费使用。