你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现
网友:艺术家作画新方式
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
现在用AI画画,完整草图都不需要了。
每一笔落下,AI都会实时交上“新作业”
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/631f02edb225be868d401569fe8aca64.gif)
细节、颜色、画布空白,它都自动补全。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/0a67d44b2eebc8323c5e350b9d63e48e.gif)
还能通过提示词来控制生成图像的内容和风格。
比如加一句“一个穿长外套的男人站在海边“,AI立马调整了作画方向:
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/4046bb3bac49f62ce0eb15d649cb474d.gif)
最后成稿的作品如下,效果很奈斯。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/c0a6e1cab98c9aefedcb0a3c4f04f814.png)
怪不得网友表示,自己惊掉的下巴已经找不到了。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/b2c4f00943c23fc16328606b8b2c7cfc.png)
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/703bd42ccf949d2252fcf2dca352eda2.gif)
这就是最新火起来的AI实时作画项目,Reddit上的热度有1.8万。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/5e7761c91efef79efe739dc4b1f093ea.png)
有人还表示,这回似乎说明了,相较于取代人类,AI可能更大程度上会帮助人类艺术家创作。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/ab5f362205a0a21b7662d2d6475a5471.png)
一个脚本搞定
如上效果是靠一个Python脚本实现。
通过构建一个画布和一个图像生成框,然后把每次落笔后的草图发送给Automatic 1111的API接口,这样就能基于Stable Diffusion和ControlNet的能力作画了。
其中,Automatic 1111是一个基于Stable Diffusion的可便携部署的离线框架,封装了UI和一些功能,能通过可视化界面使用Stable Diffusion。
此外生成图像方面还使用了ControlNet的scribble模细化效果。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/f11fd299684b0cba93ba6a0803467f00.gif)
作者提醒说,想要让这个脚本能正常运行,一定要确保能调用Automatic 1111 webui的API,并且已经安装激活了ControlNet扩展。
可以通过修改payload.json文件来获取不同的prompt、seed和ControlNet模型。
在实时生成的速度上,作者表示现在看到的demo是他加速4倍后的结果,具体情况如何,恐怕还要看大家的显卡水平了。
所以不少网友看后的反应是:
实时?我的显卡说,你在做梦。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/61ed7c0b1afc3212508d476531f765d8.jpeg)
1080要再次哭晕了……
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/58024b2ec7d5de3821890a5426332e2f.jpeg)
也大佬推算了各个型号显卡可能带来的效果:
我上次使用Automatic1111时,用3080能实现每秒12次迭代;对于预览图片来说,或许不需要这么多迭代。
所以如果用3080的话,大概可以每1-2秒得到一张图片预览(3060可能是3-4秒);如果用4080、4090,不到1秒就能出一张预览。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/47538ed67358742872aa86642e905827.png)
尽管硬件上还是有制约的……但这还是没影响大家的脑洞。
有人表示,这或许是未来很多艺术家搞创作的方式了。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/a8e2499e4dd9bcf7be334bcc7468bd08.png)
还有人说,未来已来了。
![你画一笔AI画整张图!AI实时作画方式被打开,颜色细节自动补全,一个脚本即可实现](/wp-content/uploads/replace/63be228b6a898a82eb1849827cd909d5.jpeg)
你觉得呢?
GitHub地址:
https://github.com/houseofsecrets/SdPaint
参考链接:
[1]https://twitter.com/thekitze/status/1648627002822254593?s=20
[2]https://www.reddit.com/r/StableDiffusion/comments/12pcbne/i_mad_a_python_script_the_lets_you_scribble_with/
- 商汤科技日日新大模型亮相巴黎,中国AI共赴奥运之约2024-07-26
- 智谱AI版Sora来了!人人免费不限次,有手机就能玩,API也开放了2024-07-26
- Mac装上字节豆包,艾玛!一下变AI PC了!2024-07-22
- 英特尔举办2024网络与边缘计算行业大会,推动边缘AI创新发展2024-07-24