4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图
100多种内置风格
克雷西 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
玩AI画画,现在终于不用担心被老黄刀法“背刺”了!
只需要一块4年前的GTX 1650(显存4GB),AI出图效果堪比当前最好的开源模型SDXL。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/20d65abf6a989fae31ad3d979db1181c.png)
△图源:推特@ナビ
这是最近在GitHub上连续数日霸榜TOP 1的新项目Fooocus,三天标星破4k,ControlNet作者出品。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/67c9f814f0460082736cb2155c3ed611.png)
在它横空出世之前,大伙儿要想顺利跑Stable Diffusion最新的XL模型,怎么也得上16G显存的4060ti(12G显存的原生3060跑起来非常勉强)。
与其他开源AI工具不同,Fooocus“聚焦于生成本身”,不仅硬件要求低,而且上手简单,十分小白友好——
全过程无需调整任何参数,点点鼠标,3步就能生成一张图像。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/53057195565ec1b3d8219398c7407b34.png)
△图源推特@Photogenic Weekend
有网友直呼“这简直就是Stable Diffusion和Midjourney的集大成”:
跟手动调参说再见吧!离线、开源且免费,只需提示词和图片,就能让魔法涌现!
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/3f1a8540db190d20315bfd9358a454d5.png)
还有网友感叹:即使是小白,也能很好地发挥出Stable Diffusion XL模型的效果呢。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/ffad92eb405b1d13be01211c73921636.png)
那么,这个全新的图像AI工具,实际生成效果如何?我们上手试了试。
Colab半分钟出图,效果比肩SD
从运行界面来看,Fooocus一共有一百多种内置风格可供选择。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/d2d5ee7fd0462f6b283c89f88fd1c12f.png)
△图源推特@camenduru
至于效率,Fooocus出图也是非常快。在Colab中,速度优先模式下每画一张图大概只需半分钟:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/b8e01e7f74ef4c12392d63245f223be3.png)
那就先让它画个漫画试试,来看看AI视角下的“马扎大战”会是什么样子。(可不是这个马扎哈)
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/34825048ff5f3bb00e085acec87b77f7.jpeg)
由于用AI直接生成人像,手部的处理还是存在一些问题,所以我们干脆让马斯克和扎克伯格都戴上了手套:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/8c2794bffa4a733b8c5f6a54d000bda0.png)
效果好像还不错。不知道他们有没有什么赌注,不过不妨让输的人来女装一下。
(温馨提示:打架没有赢家)
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/6632cac613f7800e914633a32a822651.png)
最终两人“握手言和”,这一珍贵画面也被摄影师记录了下来,整体画面是不是有那味了?
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/c0c84891ce1792dae7849bef28eebe71.png)
“马扎之战”结束之后,老马乖乖地回到公司,卖起了特斯拉。
忽略LOGO的话,海报的设计感也还蛮在线的。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/8c8a99684eec065a5566ca4b00540fd1.png)
其实Fooocus的每个内置风格都很有趣,所以不妨再来看看这些不同风格的整活图片:
在模仿著名作品方面,有赛博朋克版、塞尔达版、Minecraft版,甚至是宝可梦版本的马斯克可供观赏。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/347cd66fc73e6ae68450581cf0e69319.png)
至于其他的艺术形式,还有像素和Lowpoly风格,以及黏土人和剪纸版本……
当然例子是举不完的,更多的风格读者朋友们可以自己去体验。
(不得不说,AI作图里的文字终于不是鬼画符了)
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/4b7c242ed9909e9b9234f58a853d155d.png)
各位大画家是不是已经按耐不住想要试试了?我们马上就来介绍Fooocus的玩法!
Fooocus的界面是酱婶儿的,可以说是十分有九分简洁:
如果只是尝个鲜,没有特殊要求的话,这一个提示框完全足够了。
因为作者已经把很多复杂技巧内化到了程序当中,调参这些操作不再需要手动完成。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/ed64df3396f9a1e8579b696c4b8f5507.png)
直接在下面的框中输入Prompt,点击生成按钮就可以坐等出图了。
(默认一次出两张图,尺寸为1152×896,风格为cinematic default,速度优先)
如果需要高级设置,就把左下角的Advanced勾上,配置信息会出现在页面右侧,分为三个标签:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/80f3da3ba2b19e481b1cb38eb23bedf7.png)
可以调整的内容包括尺寸、数量、风格、性能等等。
如果你是专业级玩家,还可以选择模型版本,甚至调整LoRA参数。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/1a9070b51c10d5999d7f614a9cb0efd9.png)
此外,还有调整锐利度这种高端玩法。
对于相同的内容,下面这张动图展示了锐利度从2到10再到20的变化。可以看出,随着锐利度增大,画面的细节也越来越丰富:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/4f3528d7734d9adb68a679a72ce2df4a.gif)
不过,对于Fooocus是否支持中文,我们也试了一下,很遗憾现在还不行。
比如我们输入提示词“苹果”,结果画出来的是个妹子。
这……难道是想说“You’re the apple of my eyes”?
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/15d4a52c4e3b60a3ae8c653263d95a84.png)
现在你大概已经知道Fooocus的玩法了,那么又该怎么配置呢?
如果你有带英伟达显卡的Windows设备,那么可以用开箱即用的版本。(大概这已经是老黄第114514次赢麻了)
同时,硬件需要满足最低配置要求——4GB显存+8GB内存。
先从这里直接下载:
https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_1-1-10.7z
解压好之后,双击run.bat运行,系统会自动下载模型并部署,等配置完成就可以用了。
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/193812351d6b003d7648980538a4ad91.jpeg)
Linux版本的配置要求和Windows一样,不过配置流程要复杂些。
(如果有Jupyter,也可以参考Colab中用到的note文件)
首先要安装好环境依赖:
git clone https://github.com/lllyasviel/Fooocus.git
cd Fooocus
conda env create -f environment.yaml
conda activate fooocus
pip install -r requirements_versions.txt
然后下载模型文件,存储到指定目录:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/96bd058e7bfef81e8ece4a4a8d694ce3.png)
△具体请参见GitHub页面
当然,也可以让系统自动下载模型:
python launch.py
如果你在用Mac,或者硬件配置不满足要求,也可以用Colab直接运行。
(传送门:https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/colab.ipynb)
不过,还是要吐槽的是,Colab版本会时不时宕几次机,不是自动停止就是内存溢出……
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/44a525993ecf7071e948ff37d3c748fc.png)
如果想在Mac或A卡电脑上更丝滑地运行Fooocus,可以再等等作者的更新。
整体来看,Fooocus的出图效果不错,如果提示词选择好的话,甚至可以当Stable Diffusion来用,关键是硬件配置要求也不高。
这究竟是怎么实现的?
来自ControlNet作者最新项目
架构设计上,Fooocus主要分为两部分:交互界面和AI模型。
其中,交互界面参考了两个项目,分别是stable-diffusion-webui和ComfyUI。
stable-diffusion-webui主要是交互界面的前端设计:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/81117de537c16b03b864a728638df859.png)
ComfyUI则兼具Stable Diffusion的GUI和后端设计:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/c31dddb0b1011ceac75b57780c4805e5.png)
至于AI模型,能看出是用了Stable Diffusion新的SDXL模型:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/642d3f042ca0c1eacb76c2d4efaccff6.png)
这是也目前Stable Diffusion最好用的版本之一,生成效果相比之前的1.5版本有不少改进。
不过,虽然Fooocus的模型和UI设计都有参考现成Stable Diffusion开源项目,但作者在制作时,融入了不少自己的优化设计,使得模型跑起来更加丝滑。
例如,作者仔细在Fooocus中采用了自己设计的k扩散采样(advanced k-diffusion sampling)方法,能提升采样连续性,减少性能损失、提升采样效率;
此外,作者还仔细调整了采样器(Sampler)的参数,并在原版基础上修改增加了一些包括电影风格在内的新设定。
之所以给Fooocus加上LoRA选项,是因为作者测试发现,加上LoRA(权重设置小于0.5)的SDXL模型,效果几乎总是比不加LoRA的SDXL模型更好。
开发出Fooocus这个项目的作者名叫Lvmin Zhang,2021年本科毕业于东吴大学,目前在斯坦福大学读博。
他做过的几个项目,包括ControlNet和style2paints在内,几乎个个都爆火:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/e94b54bf15549eb8746a415e204fd12b.png)
现在,最新的这个项目Fooocus,看起来同样很受欢迎。
在社交媒体上,已经有网友自发整出了Fooocus版不同风格的提示词合集Excel。
如果不知道生成什么样的图片,参考这个文档内的提示词就行:
![4G显存低配畅玩AIGC!ControlNet作者新作登顶GitHub热榜,小白点3次就出图](/wp-content/uploads/replace/255ad5b3057cbc539597fddc6955f138.gif)
你想好要用Fooocus生成什么样的图像了吗?
项目地址:
https://github.com/lllyasviel/Fooocus
参考链接:
[1]https://twitter.com/lvminzhang/status/1690118840326524928
[2]提示词合集:https://docs.google.com/spreadsheets/d/1AF5bd-fALxlu0lguZQiQVn1yZwxUiBJGyh2eyJJWl74/edit
[3]https://twitter.com/narrativenavi/status/1691235126045552645
[4]https://twitter.com/kiyoshi_shin
— 完 —
- OpenAI被举报:非法限制员工披露AI安全风险2024-07-14
- AI视频创作一条龙!达摩院寻光平台炸场WAIC,突破可控编辑难题2024-07-05
- 姚班大神陈立杰获UC伯克利教职,2025年秋季入职2024-07-02
- 英伟达布局AI视频,Sora风头快被抢完了2024-06-29