备案 立即注册

云服务器

帮助中心 >  产品文档 >  云服务器 >  服务器教程 >  本地内网环境下Ollama与DeepSeek-R1大模型的高效部署实践

欢迎来到蓝队云小课堂。

 

随着人工智能技术的飞速发展，大语言模型在自然语言处理、数据分析和智能应用开发等领域展现出了巨大的潜力。本文将详细介绍如何在本地内网环境中，借助Docker技术高效部署Ollama以及基于DeepSeek-R1蒸馏的六款子模型，助力开发者更好地利用这些强大的工具，提升开发效率和项目质量。

 

一、DeepSeek-R1模型概述

DeepSeek-R1是一款具有6710亿参数的超大型语言模型，其模型大小约为720GB。为了满足不同应用场景的需求，DeepSeek-R1还提供了六款蒸馏后的子模型，这些子模型在参数规模和模型大小上各有差异，具体如下：

DeepSeek-R1-Distill-Qwen-1.5B：参数规模为15亿，模型大小约4GB。

DeepSeek-R1-Distill-Qwen-7B：参数规模为70亿，模型大小约15GB。

DeepSeek-R1-Distill-Llama-8B：参数规模为80亿，模型大小约16GB。

DeepSeek-R1-Distill-Qwen-14B：参数规模为140亿，模型大小约30GB。DeepSeek-R1-Distill-Qwen-32B：参数规模为320亿，模型大小约75GB。

DeepSeek-R1-Distill-Llama-70B：参数规模为700亿，模型大小约140GB。

这些子模型不仅在性能上各有特点，还为个人和企业用户提供了多样化的选择，使得开发者可以根据自身需求灵活部署。

 

 

二、本地内网部署Ollama

（一）服务器配置要求

为了确保Ollama能够顺利运行并支持DeepSeek-R1大模型的部署，本地服务器需要满足以下配置要求：

操作系统：推荐使用Ubuntu 22.04，可从Ubuntu官方镜像下载地址获取。

内存：至少64GB，以确保模型运行时有足够的内存支持。

Python版本：推荐使用3.10.12或3.12.3，这两个版本均已通过测试。CUDA版本：12.4，用于支持GPU加速。

GPU驱动：NVIDIA-Linux-x86_64-550.142，确保GPU驱动与CUDA版本兼容。

GPU：推荐使用NVIDIA GeForce RTX 3090 24GB × 2，以满足模型对计算资源的需求。

 

（二）Ollama镜像的下载与加载

在一台能够联网的服务器上，通过以下命令下载Ollama镜像，并将其导出为.tar文件：

docker pull ollama

docker images

docker save -o ollama-latest.tar ollama/ollama:latest

 

将下载好的镜像文件传输到本地内网环境中后，使用以下命令加载Ollama镜像：

docker load < ollama-latest.tar

 

（三）启动Ollama容器

启动Ollama容器时，需要指定相关参数以确保其能够充分利用本地资源并正常运行。以下是推荐的命令：

docker run -d --privileged --gpus all --restart always -e OLLAMA_SCHED_SPREAD=1 -v /data/ollama:/root/.ollama -p 8003:11434 --shm-size 12G --name ollama ollama/ollama

 

其中，-v /data/ollama:/root/.ollama表示将容器内的/root/.ollama目录挂载到宿主机的/data/ollama目录，用户需根据实际情况填写正确的目录路径。

 

（四）进入Ollama容器

通过以下命令进入Ollama容器：

docker exec -it ollama bash

进入容器后，用户可以执行相关命令进行模型管理和服务管理。

 

（五）Ollama常用命令

Ollama提供了丰富的命令，方便用户进行模型管理和服务管理等操作。以下是一些常用命令：

模型管理类

ollama run <model>：下载并运行指定模型，例如ollama run llama2会自动下载并启动LLaMA 2模型。

ollama pull <model>：仅下载模型而不运行，例如ollama pull mistral。

ollama list：查看本地已有的模型列表。

ollama rm <model>：删除指定模型，例如ollama rm llama2。

ollama cp <source_model> <destination_model>：复制模型，例如ollama cp llama3 my-model。

ollama push <model>：将模型推送到注册仓库。

ollama create <model_name> -f <Modelfile>：从Modelfile创建模型，例如ollama create my-model -f Modelfile。

 

服务管理类

ollama serve：启动Ollama服务。

ollama ps：列出正在运行的模型。

 

其他

ollama show <model>：显示指定模型的信息。

ollama help：获取关于任何命令的帮助。

 

这些命令能够帮助用户更加便捷地管理和使用Ollama模型，充分发挥其在本地内网环境中的优势。

 

 

三、本地内网部署DeepSeek-R1大模型

（一）获取DeepSeek-R1模型地址

在部署DeepSeek-R1大模型之前，需前往Ollama官网查看其模型地址，具体地址为：https://www.landui.com/library/deepseek-r1:14b。

 

（二）安装并启动DeepSeek-R1:14B模型

通过以下命令安装并启动DeepSeek-R1:14B模型：

ollama run deepseek-r1:14b

 

该命令的执行时间取决于网络状况，可能需要等待一段时间。下载完成后，DeepSeek-R1大模型将成功启动。

 

（三）查看已启动模型

为了确认模型是否已成功启动，可以执行以下命令查看已启动的模型：

ollama list

 

当看到DeepSeek-R1模型出现在列表中时，便意味着Ollama已成功启动该模型，本地内网部署工作至此圆满完成。

 

通过上述详细的步骤，开发者可以在本地内网环境中顺利部署Ollama及DeepSeek-R1大模型，进而充分利用这些强大工具为自身项目赋能。无论是企业级应用开发、大模型应用开发还是AI应用开发，这些技术都将为开发者带来更高的效率和更强大的功能支持。希望本文的介绍能够帮助更多开发者快速上手，开启高效开发之旅。

 

蓝队云官网上拥有完善的技术支持库可供参考，大家可自行查阅，更多技术问题，可以直接咨询。同时，蓝队云整理了运维必备的工具包免费分享给大家使用，需要的朋友可以直接咨询。

更多技术知识，蓝队云期待与你一起探索。

 


提交成功！非常感谢您的反馈，我们会继续努力做到更好！

这条文档是否有帮助解决问题？

非常抱歉未能帮助到您。为了给您提供更好的服务，我们很需要您进一步的反馈信息：

在文档使用中是否遇到以下问题：

服务热线：
4006-75-4006(7*24小时在线)

总机直拨：
0871-63886388（工作日9:00-18:00）

Copyright © 2012 - 2025 LanDui.com. All RightsReserved.　蓝队云 版权所有

  • 蓝队微信

  • 蓝队微博

全国域名注册 航帆网 云南商机网 IDC公司大全 九机网