Deepseek私有化部署

本篇文章记录Deepseek私有化部署以及本地知识库的搭建流程。

1-方案

方案采用ollama+anythingllm+docker私有化部署deepseek-r1:8b。

ollama：大模型的管理和运行工具。

anythingllm：实现文档聊天，本地知识库（支持多个文本检索）的可视化应用。

docker部署anythingllm，实现Web网页访问，非anythingllm官网的桌面访问，是因为Web网页访问的文档聊天更加快速精准以及支持更多个性化设置，如果后续进行接口二次开发，就更要选择docker部署方案。

2-部署

1、前往ollama官网，下载对应系统（window/macos）的应用。

ollama官网：https://ollama.com/

2、ollama安装完成后，打开系统终端，执行下面指令，安装并运行大模型。

ollama run deepseek-r1:8b

建议40系列以上显卡或macos m1芯片性能及以上的运行8b，其余运行7b或以下。

有哪些模型选择可以参考下面ollama官网模型版本选择：
https://ollama.com/library/deepseek-r1

3、运行成功后，可以在终端进行测试。

执行ctrl+D可以退出终端聊天。

4、前往Docker Desktop官网，向下滑动，找到下载即可

Docker Desktop官网：https://www.docker.com/products/docker-desktop/

下载安装Docker Desktop过程中可能存在需要科学上网的情况，否则无法完成登录，搜索远程镜像等操作。

可以参考网上的安装教程：
https://blog.csdn.net/Natsuago/article/details/145588600

建议是涉及到Docker Desktop登录或搜索远程镜像等联网操作时，全程进行科学上网，需要科学上网的途径可以使用下面的网址：（完成注册+登录+查看官网教程安装工具，选择并开启代理）

https://www.sibker.com/register?code=VIev6i3i

5、Docker Desktop安装完成后，按照如下步骤部署anythingllm

打开系统终端，执行下面指令，查看docker是否安装成功。

docker -v

在系统终端中，执行下面指令，拉取远程镜像mintplexlabs/anythingllm

docker pull mintplexlabs/anythingllm

之后，在终端复制下方对应系统的指令，去运行镜像，建立本地知识库映射。

# Linux/MacOs
export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

# Windows
$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;