分层RAG HierarchicalRAG 文档结构从平铺走到分层:AI分层RAG笔记最近在做一个技术文档问答系统,用最简单的平铺式 RAG 实现后发现效果不理想:用户问个底层细节… 醉月思📁 技术实践📅 2025-04-22
融合RAG FusionRAG 检索融合AI融合RAG实践笔记先复现,再谈优化。 去年做了一个知识问答系统,当时觉得向量检索 + LLM 就是银弹,但跑了一… 醉月思📁 技术实践📅 2025-04-21
位置编码 Sinusoidal RoPE从顺序走到感知:AI位置编码笔记一个好的位置编码应该满足以下需求: 1. **唯一性**:每个位置有唯一的编码 2. **泛化性**:能处理比训练时更长的序列 3. **相对… 醉月思📁 技术实践📅 2024-12-07
Python 量化使用python实现动量量化策略监控面板基于 Python 的动量轮动量化策略监控面板,使用 AkShare 获取数据,Streamlit 可视化展示并提供回测示例。 醉月思📁 技术实践📅 2024-11-24
GLM 智谱AI ChatGLM 大模型实践AI GLM踩坑记录团队本来在用一些国外模型,但有两个问题绕不开: 1. **中文表达总有点"翻译腔"**,特别是写产品文案、用户沟通这种场景,模型说出来的话不够… 醉月思📁 技术实践📅 2024-11-20
DeepSeekCoder 代码模型 推理优化AI DeepSeek Coder:这次怎么落地的先复现,再谈优化。 先说说我这个项目的具体需求: 1. **本地运行**:不能依赖外部 AP… 醉月思📁 技术实践📅 2024-11-09
llm-training distributed-training data-parallel tensor-parallel pipeline-parallel从数据并行走到模型并进:大模型训练加速技术笔记大语言模型(LLM)的训练需要庞大的计算资源和时间成本。 醉月思📁 技术实践📅 2024-11-06