贾扬清前几天在社交平台介绍了自己开发的 AI 应用 Lepton Search —— 一个用 500 行 Python 代码构建的对话式 AI 搜索工具。
贾扬清是开源深度学习框架 Caffe 创始人、TensorFlow 作者之一、也是 PyTorch 1.0 的共同创始人。
2023 年 3 月，贾扬清从阿里离职后联合创立了一家新的 AI 公司 Lepton AI，旨在建立高效的 AI 应用平台。Lepton AI 总部位于美国加利福尼亚州帕洛阿托，官网宣称可通过 Lepton AI 在几分钟内高效、大规模地运行 AI 应用。相比大模型，贾扬清团队更偏重 AI 能力的开发。
Lepton Search 体验地址：https://search.lepton.run/
https://twitter.com/jiayq/status/1750242829769801793
贾扬清介绍称，Lepton Search 的后端是 Mixtral-8x7b 模型，托管在 LeptonAI，输出速度能达到每秒大约 200 个 token，搜索引擎采用了 Bing 的搜索 API。
他还分享了自己开发这个项目的一些经验：
- 搜索质量至关重要。优质的摘要片段是形成精准概括的关键。
- 适当加入一些虚构内容实际上有助于补充摘要片段中缺失的 “常识性信息”。
- 在进行内容概括时，开源模型表现出了卓越的效果。
就在今天，Lepton Search 正式开源，包含完整前后端源代码，采用 Apache License，可商用。
https://github.com/leptonai/search_with_lepton
可以看到，项目的核心 Python 代码确实不到 500 行：
