下载与安装

什么是Ollama?

Ollama有点类似于Docker,提供了一站式AI大模型部署,运行服务

优势

响应快,支持自动调用CUDA加速.
完全本地运行,无需联网(不包括云端模型)
跨平台支持
提供了Rest API接口@11434端口
支持热切换模型,无需重启服务

下载/安装

下载地址: https://ollama.com/download/OllamaSetup.exe
安装时,需要以管理员身份运行,同时需要选择为所有用户安装.

获取新模型

模型列表: https://ollama.com/search
找到不带有cloud标签的模型,,点击进去,选择适合自己电脑的模型文件,复制模型名,打开power shell,输入以下命令以下载模型 ollama pull <模型名>

管理模型

powershell

# 查看已经下载的模型列表
ollama list

# 下载安装模型,模型名获取地址
# https://ollama.com/search
ollama pull <模型名>

# 运行模型. 若模型不存在,则会先下载该模型.
# 也可以用来运行已保存的会话.
ollama run <模型名>

# 删除模型或会话.
ollama rm <模型名>

# 显示指定模型的详细信息
ollama show <模型名>

管理对话

powershell

# 查看支持的指令
/? 
/set            
/show           # 显示模型信息
/load <model>   # 加载一个对话或模型
/save <model>   # 保存当前会话到模型
/clear          # 清理上下文
/bye            # 退出当前对话
/?, /help       Help for a command
/? shortcuts    Help for keyboard shortcuts

其它命令

powershell

# 多行输入,使用三对双引号包起来.
>>> """
... 第一行
... 第二行
... """

停止当前推理: Ctrl+C

退出当前会话(模型空闲时): Ctrl+D

清屏: Ctrl+L