Stephen的SEM博客

背景：

目前市面上的chatgpt产品很多，以国外非开源的chatgpt 为主的，优势就是强大，速度快，逻辑能力强

国内也有各大厂商做的非开源的，但是目前唯一开源的清华大学的chatglm 是可以直接在本地电脑上使用，避免了数据泄露的问题以及合规性的问题，本文主要是通过谷歌的colab体验下chatglm2-6b的部署运行方法

1，在google colab上新建代码

https://colab.research.google.com/#create=true

2，修改文件名称以及运行的gpu配置（更快）

3，连接服务商 点击右上角

4，输入代码

可以通过点击红框位置 增加不同的代码快

6 输入以下4行代码

!nvidia -smi

!git clone https://github.com/THUDM/ChatGLM2-6B

!pip install -r /content/ChatGLM2-6B/requirements.txt

!python /content/ChatGLM2-6B/web_demo.py

分别解释下，第一行 !nvidia -smi 代表检查当前的显卡类型

点击代码左侧的按钮可以看到运行结果，选择的是v100显卡，功率最大300w，有16g显存

这个显卡的性能决定了大模型的速度，非常重要，遗憾的是如果免费版的google colab只能选择t4类型的显卡 虽然也是16g显存 但是功率要小 的多

2，!git clone https://github.com/THUDM/ChatGLM2-6B

这个命令是将github上的源代码复制到本地

可以看到 文件中多了一个文件夹 就是把github上的chatglm2-6b复制到本地

3.!pip install -r /content/ChatGLM2-6B/requirements.txt

这个是安装包 将chatglm2-6b需要的库进行安装

因为这个是一个复杂的软件工程，需要很多依赖的函数库，所以都打包在requirement里面

写清楚了需要运行的环境，使用pip就是python的安装包，可以根据函数名称 进行安装

-r 代表以只读方法打开， install 就是安装

5，修改参数

需要先打开web_demo.py 将参数修改

把share的参数从False改成True 这样就会生成公网的连接

6

运行最后的web demo文件

!python /content/ChatGLM2-6B/web_demo.py

这是最后一步，

这是全部代码（

最后生产的网址就可以访问了

背景：

目前在AIGC领域，除了chatgpt这种文字生成工具以外，还有midjounery和stable diffusion这样的图片生成工具，前者是一种标准化的产品，输入promote就可以直接输出，后者属于定制化的产品，结合很多插件和模型，可以精确定制你的头像，但是stable diffusion是需要进行安装和耗费服务器资源，所以一般对所用电脑有限制，需要使用GPU资源，目前比较高档的超过5000块钱的显卡才能跑的动比较成熟的模型，所以通过云服务商来运行资源就是比较性价比高的选择

目前国内有阿里云国外有谷歌云都有云计算服务提供算力，本文主要围绕通过谷歌云，google colab进行一步步拆解来讲解下如何使用谷歌云资源进行安装stable diffusion进行模型的安装和视频的制作

正文:

1,stable diffusion web版本源代码下载及安装在google colab

首先 stable diffusion有很多版本，最开始的命令行的版本，但是使用起来要记得繁琐的命令，现在有一种web界面，通过按钮和输入框来进行模型的调整，目前使用的最广的就是

stable diffusion webui colab

我们可以在github 搜索stable diffusion webui colab

https://github.com/search?q=stable%20diffusion%20webui%20colab&type=repositories

这是使用google的 colab进行 云部署

选择1.5版本的 stable 版本

点击后就跳转到google colab了

在google colab中，可以把安装代码先复制到云端硬盘，可以先选择保存 在修改下名字

，这样下次再次安装就不用打开

以上就把SD的安装代码复制到google 云上，但是这个代码很小只有几百行，与实际

2，选择运行模式，

因为不同的运行模式耗费不同的资源，有不同的价格（）当然你也可以等1个小时出一个图），也而已选择付费购买计算资源，9美金以一个月，有100个计算资源，然后我对比看楼下 有3种GPU资源，T4的GPU 一小时用2个计算资源，那么可以用50个小时，一天22小时足够

如果换成V100，一小时是7.5个计算资源，那么只能用13小时，一天只能玩半小时，

如果换成A100，大名鼎鼎的最厉害的GPU，一小时是13个计算资源，只能用8小时，所以不到逼不得已，只需要v100 足够了，宝尊每天都可以玩半小时

选择使用gpu运行

最后的结论还是使用V100 比较好，每天都可以玩半小时， A100太烧钱

3，运行代码

这里使用选择全部运行

一路确认

然后就可以看到程序在运行

会慢慢下载SD的所有资源包

最后就可以看到这个网址出现 就是web界面的SD已经ready了

可以点击访问了

4， SD的简单配置

首先进行汉化

选择extention下 load 下 搜搜下zh

点安装， 在去setting下面的 user interface里面选好 就哈

然后点击安装后，重新加载

就可以完成汉化

2，安装小姐姐模型 chilloutmix

还需要下载专门的人物模型

如C站里面花小姐姐的 chilloutmix

https://civitai.com/models/6424/chilloutmix

选择Civiai 标签

内容类型选择checkpoint

排序选择

可以参考下面小红书教程

https://www.xiaohongshu.com/explore/641d807a0000000012033ff6

https://www.xiaohongshu.com/explore/6422cc1f000000001303cb6a

https://zhuanlan.zhihu.com/p/621472274

点击download 后就可以看到模型在下载

安装好后选择刷新，模型就可以看到chilloutmix这个模型

也可以上C占 复制下别人的代码 直接生成，会有惊喜

使用deforum制作视频

学做视频

首先设置下面的采样方式业绩图片大小

修复下面部

动画效果选3D 同时选wrap

提示词可以考虑使用

https://civitai.com/models/59785/deforum-chatgpt-prompter

使用gpt来生成

输入咒语后，输入条件

a prompt about the rise and fall of a civillzation, 600 frames

以及

can you add more details, for example, add the human development process, from the Stone Age to the Steam Age,to the Age of Technology, to the Future Age of Technology and more.

对于初始图片可以用这个

这里可以使用图片上传到云中

参考下面

可以获得线上的图片地址

最后输出选项可以选择放大

然后生成即可

背景：

目前在中国使用chatgpt，还是需要通过梯子（魔法），也就是我们说的vpn，那有些公司或者电脑因为特殊的原因无法安装梯子，就无法使用，那么有么有不需要使用梯子也可以快速上网的呢，答案是有

本教程通过使用docker上安装软件，（类似虚拟机+开源软件包）的形式进行安装，帮助解决这个问题，解决无vpn也可以访问chatgpt的方式

正文部分：

关于dock

一个比较复杂的软件项目中，代码运行需要依赖于不同的代码库，如node.js、Redis、RabbitMQ、MySQL等，这些代码库或者服务部署时所需要的函数库、依赖项各不相同，甚至会有冲突。给部署带来了极大的困难

Docker为了解决依赖的兼容问题的，采用了两个手段： 将应用的Libs（函数库）、Deps（依赖）、配置与应用一起打包 将每个应用放到一个隔离容器去运行，避免互相干扰

 虚拟机VS 容器技术

先科普一下，现在云计算其底层的基石就是虚拟机技术，云计算厂商买回来一堆硬件搭建好数据中心后使用虚拟机技术就可以将硬件资源进行切分了，比如可以切分出100台虚拟机，这样就可以卖给很多用户了

我们知道操作系统运行起来是需要占用很多资源的，大家对此肯定深有体会，刚装好的系统还什么都没有部署，单纯的操作系统其磁盘占用至少几十G起步，内存要几个G起步。

如果有一种技术可以让我们避免把内存浪费在“无用”的操作系统上岂不是太香？这是问题一，主要原因在于操作系统太重了。还有另一个问题，那就是启动时间问题，我们知道操作系统重启是非常慢的，因为操作系统要从头到尾把该检测的都检测了该加载的都加载上，这个过程非常缓慢，动辄数分钟，因此操作系统还是太笨了

答案是肯定的，这就是容器技术

操作方法：

首先我们需要去下载docker这个软件，有三个版本，第一个是Windows版，然后第二个是支持M1芯片的Mac版，第三个是支持英特尔芯片的Mac，Linux系统 ，这里演示的是在win系统，官网下载安装docker.com

1.安装docker，

访问www.docker.com 直接下载安装包后运行

安装以后 重启电脑

在打开CMD提示命令符

docker pull pengzhile/pandora

这里是下载镜像 

docker run  -e PANDORA_CLOUD=cloud -e PANDORA_SERVER=0.0.0.0:8899 -p 8899:8899 -d pengzhile/pandora

之后打开docker可以看到已经运行，访问ports 就可以看到本地化的网址

可以使用access token 访问，这个是14天免登录

先翻墙

获取自己的 Access TOKEN：http://chat.openai.com/api/auth/session

至此  已经可以本地上网了，速度贼快