AI繪圖模型訓(xùn)練到推理，一個網(wǎng)頁就能搞定
支持多種SD系列模型
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
不會寫代碼，也能訓(xùn)練AI繪畫模型了！
只要借助這個框架，從訓(xùn)練到推理都能一站式搞定，還能一次管理多個模型。
阿里巴巴團(tuán)隊推出并開源了這款萬能圖片生成工作臺SCEPTER Studio。
有了它，不用代碼，直接在Web界面當(dāng)中就能完成模型的訓(xùn)練與微調(diào)，并管理相關(guān)數(shù)據(jù)。
團(tuán)隊還推出了內(nèi)置三種模型的DEMO，可以在線體驗SCEPTER的推理功能。
那么SCEPTER具體都能干啥，下面就來一睹為快！
一站式管理繪圖模型
有了SCEPTER，不再需要編寫程序，只要在Web頁面中選擇要訓(xùn)練的模型，調(diào)整好相關(guān)的參數(shù)，就可以完成模型的訓(xùn)練和微調(diào)了。
具體來看，模型方面，SCEPTER目前支持Stable Diffusion系列的SD 1.5/2.1和SDXL模型。
微調(diào)方式上，它支持傳統(tǒng)的全量微調(diào)、LoRA等方式，以及自家的SCEdit微調(diào)框架，未來還會加入對Res-Tuning調(diào)優(yōu)方式的支持。
SCEdit通過跳過連接的方式，讓擴散模型能以更高的效率完成圖片生成任務(wù)，相比LoRA節(jié)約了30%-50%的內(nèi)存開銷。
訓(xùn)練數(shù)據(jù)方面，SCEPTER內(nèi)置了包含3D、日漫、油畫、素描等6種風(fēng)格，每種風(fēng)格30組圖像-文本對的自創(chuàng)數(shù)據(jù)集。
同時，也可將自行準(zhǔn)備的圖片打包壓縮，并以csv或txt文檔建立圖像（文件名）和prompt的對應(yīng)關(guān)系，導(dǎo)入SCEPTER平臺。
如果連文檔也不想寫，也可以在SCEPTER界面中直接上傳圖片并標(biāo)注Prompt，管理、添加、刪除數(shù)據(jù)集中的圖片。
到了推理階段，SCEPTER支持的下游任務(wù)包括文生圖和可控圖像合成，未來還將支持圖像編輯，用法和現(xiàn)有的Web版SD相似。
同時，SCEPTER界面中還集成了咒語書（Prompt合集）和一些現(xiàn)成的微調(diào)模型。
那么，SCEPTER該如何食用呢？
如果只想玩玩生成的話，官方在HuggingFace和魔搭社區(qū)上的DEMO就可以滿足要求，并且后者還是中文界面。
如果要使用數(shù)據(jù)管理、訓(xùn)練等功能，就需要自行安裝部署完整版本了，具體步驟可以參照GitHub頁面中的教程。
整個過程中，只有安裝部署的環(huán)節(jié)需要用到一些簡單的代碼，之后的一切過程就都可以在Web界面里直接操作了。
感興趣的話，就去體驗一下吧！
傳送門：
https://github.com/modelscope/s
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設(shè)計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數(shù)學(xué)和計算機最高獎“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關(guān)閱讀
DALL·E 3關(guān)鍵技術(shù)公開！19頁論文揭秘如何對提示詞“唯命是從”
網(wǎng)友：OpenAI又open了？
