培訓時長：2 天（15 課時） 

課程介紹： 隨著人工智能技術(shù)的飛速發(fā)展，大模型成為了推動自然語言處理、圖像識別等眾 多領域創(chuàng)新的關鍵。然而，如何高 效地在本地環(huán)境中部署這些大型模型，并根據(jù) 特定需求對其進行微調(diào)，成為了企業(yè)和研究機構(gòu)面臨的重要挑戰(zhàn)。 

本課程旨在為學員提供從理論到實踐的全 面指導，幫助學員掌握大模型的本地部 署與微調(diào)技巧，從而能夠?qū)?span id="isf3l4o" class="highlight">先進的 AI 技術(shù)應用到實際場景中。

學員基礎： 

? 具備一定的 Python 編程經(jīng)驗 

? 對機器學習或深度學習有基本了解 

? 了解常見的深度學習框架（如 TensorFlow、PyTorch） 

? 已熟悉大模型相關基本概念 

? 對云計算有一定認識，了解虛擬化、容器化等概念 

學后收獲： 

? 理解大模型的特點及其對硬件資源的需求 

? 掌握多種大模型如 DeepSeek 的本地部署方法 

? 學會使用不同的工具和框架對大模型進行微調(diào) 

? 了解模型壓縮技術(shù)，提高模型效率

?理解大模型的安全治理重要性及其實現(xiàn)方法

?能夠獨立完成大模型的部署與微調(diào)項目

課程內(nèi)容：

一、大模型本地部署

1、本地部署基礎認知 

? 為什么要進行本地部署 

? 模型參數(shù)量與硬件資源 

◆ 模型大小與計算資源的關系 

◆ 不同規(guī)模模型的適用場景 

2、環(huán)境準備 

? 必要的軟件和庫安裝 

◆ CUDA ◆ Python 虛擬環(huán)境 ◆ Docker ◆ Pytorch ◆ Git 

? 開發(fā)環(huán)境配置

3、Ollama 快 速部署大模型 

? Ollama 平臺介紹 

? 一鍵部署流程 

? 實戰(zhàn)練習：使用 Ollama 部署 DeepSeek R1 大模型 

4、vLLM 生產(chǎn)級部署大模型 

? vLLM 框架概述 

? 部署步驟解析 

? 實戰(zhàn)練習：使用 vLLM 部署 DeepSeek R1 大模型 

5、開源大模型應用開發(fā)平臺 Dify 本地部署 

? Dify 平臺特性 

? Dify 適用場景 

? 實戰(zhàn)練習：基于 Dify 集成 DeepSeek、

二、大模型微調(diào)

1、大模型訓練流程回顧

2、什么是模型微調(diào)

? 微調(diào)的基本概念

? 微調(diào)的重要性

3、微調(diào)方法論

? 全參微調(diào)適用場景與風險控制

? 主流 PEFT 技術(shù)對比（LoRA/QLoRA/Adapter/P-Tuning）

4、微調(diào)工具

? 流行的微調(diào)工具介紹

◆ Transformers

◆ MS-Swift

◆ Deep-Speed

◆ LLaMA-Factory

? 工具的選擇與使用

5、數(shù)據(jù)工程體系

6、模型壓縮（量化）

7、模型蒸餾

? 模型蒸餾的基本原理

? 模型蒸餾的應用場景

? DeepSeek 模型蒸餾的實現(xiàn)過程解析

? 實戰(zhàn)：DeepSeek 模型蒸餾實踐

8、大模型安全治理

? 為什么要進行安全治理

? RLHF 技術(shù)全景（PPO/DPO/CPO）

9、微調(diào)模型評估

10、實戰(zhàn)

? 基于 Llama Factory 微調(diào)一個法律大模型

? 基于 DeepSpeed 大模型并行訓練框架 LoRA 微調(diào)實踐

? 基于 ms-swift LoRA 微調(diào) Qwen2.5-1.5B 實踐

課后贈送拓展課程（錄播）

? 《Linux 快 速入門》

? 《Docker 快 速入門》

? 《基于 ComfyUI 本地部署 DeepSeek 開源多模態(tài)模型 Janus-Pro》