Java 21 初体验（二）
在 上一篇笔记 中，我们学习了 Java 21 中前 5 个重要特性：430: String Templates (Preview)431: Sequenced Collections439: Generational ZGC440: Record Pa...
高级 RAG 技术学习笔记
随着大模型技术的发展，基于大模型开发的应用也越来越多，比如类似 ChatGPT 的对话服务，将搜索引擎与大模型相结合的问答服务，等等。但在这些应用中，我们也面临着大量的问题，包括缺乏领域知识、无法获取实时信息以及生成虚假内容。检索增强生成（Retr...
开源大模型 Llama 实战
去年 2 月 24 日，Facebook 的母公司 Meta AI 推出 Llama 语言模型，该模型完全使用公开可用的数据集进行训练，拥有 70 亿到 650 亿个参数，包括 7B、13B、30B 和 65B 四个版本，可以进行本地部署和微调训练，非常...
提示工程学习笔记（二）
在 上一篇笔记 中，我们学习了很多提示工程相关的技术，比如思维链（CoT）和最小到最多提示（Least-to-Most Prompting）等，显著改善了大模型的推理能力。尽管如此，我们常常还是会看到这样的现象：大模型可以准确地生成...
提示工程学习笔记
在之前的笔记中，我们学习了很多大模型的使用技巧，比如 实现一个划词翻译插件、实现基于文档的问答助手、实现基于数据库的问答助手 等等，在这些使用场景中，我们应该都或多或少听过 提示工程（Prompt Engineering） 这个概念；另...
Java 21 初体验
2023 年 9 月 19 日，Java 21 发布正式版本，这是 Java 时隔两年发布的又一个 LTS 版本，上一个 LTS 版本是 2021 年 9 月 14 日发布的 Java 17：Java 17 目前是使用最广泛的版本，但随着 Java 21 的...
在 Kubernetes 中调度 GPU 资源
在人工智能越来越普及的今天，GPU 也变得越来越常见，无论是传统的机器学习和深度学习，还是现在火热的大语言模型和文生图模型，GPU 都是绕不开的话题。最近在工作中遇到一个需求，需要在 Kubernetes 中动态地调度和使用 ...
学习 Kubernetes 流量管理之 Ingress
在 学习 Kubernetes 流量管理之 Service 这篇笔记中我们学习了 Kubernetes 是如何使用 Service 进行流量管理的，我们可以通过 NodePort 和 LoadBalancer ...
基于结构化数据的文档问答
利用大模型打造文档问答系统对于个人和企业来说都是一个非常重要的应用场景，也是各大公司争相推出的基于大模型的落地产品之一，同时，在开源领域，文档问答也是非常火热，涌现出了一大批与之相关的开源项目，比如：Quivr、PrivateGPT、documen...
学习 Kubernetes 流量管理之 Service
在 Kubernetes 使用小记 这篇笔记中我们学习了 Kubernetes 的基本用法和概念，通过 Deployment 部署应用程序，然后通过 Service 将应用程序暴露给其他人访问。其中 Servi...