大家好，关于黑脑漫画很多朋友都还不太明白，今天小编就来为大家分享关于基于GPT-3和DALL-E的漫画生成的知识，希望对各位有所帮助！
我花了上个月的时间探索如何使用OpenAI的GPT-3文本生成器和他们的DALL-E图像到文本系统来创建新的漫画，而无需编写任何源代码。请注意，这两个系统都处于测试阶段，在我用完所有免费代币后，它们开始收取象征性的使用费。不过效果还不错！并且OpenAI授予用户将其生成的材料用于商业目的的权利。
推荐：用NSDT场景设计器快速搭建3D场景。和
在本文中，我将提供有关GPT-3和DALL-E的一些背景知识，解释我如何使用这些系统创作漫画，并展示结果。在此过程中，我将重点介绍GPT-3中的新文本生成功能，并解释我如何强制DALL-E以不同的视角和姿势绘制相同的角色。
1、使用GPT-3创建标题、角色和场景我之前写过如何使用OpenAI的GPT-3文本生成器为模因创建有趣的字幕。通过AI-Memer这个项目，我了解到GPT-3可能很有趣。
OpenAI使用书籍和网页中的大量文本（包括喜剧材料）训练他们的GPT-3神经网络。以下是OpenAI论文中训练数据的清单：
根据OpenAI的说法，一个“令牌”大约是一个单词的3/4。每页使用500个单词，即约7.5亿页文本。
为了使用GPT-3，你必须在此处创建一个帐户。创建帐户后，OpenAI会提供价值18美元的信用额度，你可以在他们开始收费之前使用这些信用额度。然后可以导航到Playground，输入提示，它将生成新文本。
2、新漫画#1-疯狂马克我创作新漫画的第一步是根据主题概念生成标题。使用GPT-3用户界面很容易做到。我所做的只是问。我输入“为关于大学体育的幽默漫画创作古怪的标题”并点击提交按钮。请注意，我使用了模型、温度等的默认设置。这些设置效果很好。
系统显示了结果。
1.TheBenchwarmersn2.IntramuralIdiotsn3.OutinLeftFieldn4.OneHitterWondersn5.BleacherCreaturesn6.TheWalk-onsn7.TouchdownsandTurnoversn8.TheMascotsn9.MarkMadnessn10.ShotClockShenanigans
我喜欢“MarkMadness”，所以我用了那个。如果它们都不好，我可以点击撤消最后一个按钮并再次提交以创建一些新的。GPT-3有很多想法。
请注意，生成的标题不能保证在现实世界中是唯一的。因此，我快速进行了一次谷歌搜索，但没有找到与名为“MarkMadness”的现有漫画相关的任何搜索结果。很好。
3、使用GPT-3创建角色为了为新漫画创作角色，我设计了这个提示，“为一部名为MarkMadness的关于大学体育的新漫画创作主角。”并点击提交。以下是结果，生成的文本以粗体显示。
Createleadcharactersforanewcomicstripaboutcollegesportscalled"MarkMadness."n1.Mark:Atalentedbutunder-appreciatedcollegebasketballplayerwhodreamsofmakingittotheNBA.n2.JimmyChitwood:Mark'stalentedbutegotisticalteammatewhoalwaysseemstostealthespotlight.n3.SuzieHurley:Mark'sgirlfriendandfellowstudent,whoisalwaystryingtogethimtofocusonhisstudies.n4.Mr.McNulty:Mark'scrustyoldbasketballcoachwhoisalwaysharpingonhimto"playwithmorepassion."n5.DeanSnyder:ThedeanofMark'scollege,ahighlyrespectedacademicinstitutionthatisalsoknownforitsDivisionIathletics.
这些角色看起来还不错。例如，GPT3认为主角应该是一位名叫马克的大学篮球运动员。
但请注意，角色集中似乎没有太多文化多样性。GPT-3的创建者在他们的论文中讨论了偏见和缺乏文化代表性的问题。
训练数据中存在的偏差可能会导致模型生成刻板印象或带有偏见的内容。这是令人担忧的，因为模型偏见可能会通过巩固现有的刻板印象和产生贬低形象以及其他潜在危害，以不同的方式伤害相关群体中的人。我们对模型中的偏差进行了分析，以便更好地理解GPT-3在公平性、偏差和代表性方面的局限性。—TomBrown等人，OpenAI
他们继续讨论他们对模型中性别、种族和宗教偏见和文化代表性不足的分析。
4、使用命令编辑文本OpenAI在GPT-3中推出了一项新的文本编辑功能，目前处于测试阶段。现在，你不仅可以通过响应提示来创建文本，还可以使用该系统使用文本命令编辑任何现有的散文。为了测试这一点，我使用了上面的角色列表，并要求系统“让角色在文化和种族上更加多样化。”
这是结果。
1.Mark:Atalentedbutunder-appreciatedcollegebasketballplayerwhodreamsofmakingittotheNBA.n2.Enrique:Mark'stalentedbutegotisticalteammatewhoalwaysseemstostealthespotlight.n3.Sandhya:Mark'sgirlfriendandfellowstudent,whoisalwaystryingtogethimtofocusonhisstudies.n4.Mr.McNulty:Mark'scrustyoldbasketballcoachwhoisalwaysharpingonhimto"playwithmorepassion."n5.DeanWong:ThedeanofMark'scollege,ahighlyrespectedacademicinstitutionthatisalsoknownforitsDivisionIathletics.
好的，它改变了一些名字，比如Jimmy改为Enrique，Suzie改为Sandhya，以使角色更加多样化。
5、创建场景文本生成的最后一步是要求GPT-3在给定标题和字符的情况下创建一个场景。这是我使用新生成的粗体文本的提示。
Createascenewithdialogforacomicstripaboutacollegesportscalled"MarkMadness."nCHARACTERS:nMark:Atalentedbutunder-appreciatedcollegebasketballplayerwhodreamsofmakingittotheNBA.nEnrique:Mark'stalentedbutegotisticalteammatewhoalwaysseemstostealthespotlight.nSandhya:Mark'sgirlfriendandfellowstudent,whoisalwaystryingtogethimtofocusonhisstudies.nSETTING:Thebasketballcourtafterabiggame.nMark:Wow,wereallykilleditouttheretoday!nEnrique:Yeah,nothankstoyou.You'reluckyIwastheretocarrytheteam.
那是一段很好的对话。接下来，我将解释我是如何使用DALL-E来渲染这个场景的。
6、使用DALL-E从文本中绘制漫画上个月，我写了一篇关于如何使用OpenAI的DALL-E图像创作系统来创作数字艺术的文章。这是一个付费系统，目前处于测试阶段，可在此处注册。输入文本提示并点击生成按钮，20秒后，你会看到提示中描述的图像的四个版本。它非常容易使用。
7、疯狂马克对于MarkMadness漫画，我使用了这个提示，“在篮球场上的漫画中有两个穿着红色制服的角色，马克，一个才华横溢的大学篮球运动员，和恩里克，一个自负的队友。”这是DALL-E创建的四张图片。
我喜欢第二个，但我需要在Photoshop中稍微清理一下。并且我添加了GPT-3生成的标题和对话框，替换了文字气球中的乱码。这是之前和之后的图像。
这有点像那些你需要找到十个不同之处的视觉谜题之一。你能认出他们吗？
我喜欢漫画的整体外观，有一些可爱的细节，比如与团队颜色相匹配的红色垂直条。然而，角色的眼睛根本不匹配。我在Photoshop中使用了一个小技巧来复制马克的右眼和恩里克的左眼。当然，我在对话框中使用了ComicSans字体。
8、新漫画#2-一场演出我使用相同的过程为使用GPT-3的第二部漫画创建标题、角色描述和场景。这次我从提示开始，“为关于车库乐队的幽默漫画创建古怪的标题。”该批次的最佳标题是一次一次演出。为角色生成文本后，我使用此提示生成图像：“三位音乐家的漫画，吉他手Clive，贝斯手Jemma和弹电钢琴的Raj。”
这是结果。
这次第一张图片似乎是最好的。这是我在Photoshop中清理并添加标题前后的样子。
我从最初的设计中挑选了大胆的黑色外观。我不得不将图像向下挤压一点，以便为顶部的标题腾出空间。不需要太多清理，但我确实在Photoshop中添加了音符流。
9、新漫画#3-ML混乱对于这个，我想看看我是否可以制作一个三面板漫画。我从GPT-3的这个提示开始，“为新的技术漫画创建古怪的标题。”
它想出了一些不错的点子。
1."MLMayhem"n2."G33k5Uprising"n3."CodingCrazy"n4."CybersecurityShenanigans"n5."TheGreatCloudCatastrophe"10、为M.L.Mayhem创建角色
我喜欢MLMayhem，但我将其风格化为M.L.Mayhem。然后我要求GPT-3创建主角。生成的文本以粗体显示。
Createleadcharactersforanewtechycomicstripcalled"M.L.Mayhem"n1.Millieisabrilliantyoungcoderwhospendsherdayscreatingnewwaystomakelifeeasierforherfriendsandfamily.n2.LilyNguyenisMillie'sbestfriendandclosestconfidante.She'salwaystheretoofferalisteningear.n3.MayhemisthenameoftheextremelypowerfulAIsystemthatMillieaccidentallycreated.IthasamindofitsownandisalwayscausinghavocforMillieandLily.
好的，我知道它在那里做了什么。名字是M.L.Mayhem，所以它命名为主要主角米莉和莉莉。嗯，M和L。很聪明！造成严重破坏的AI系统的名称叫做Mayhem。干净整洁。
11、为三个面板创建场景接下来，我要求GPT-3为三个面板生成场景和对话。
Createasceneanddialogforathree-paneltechycomicstripcalled"M.L.Mayhem."nCHARACTERS:nMillieisabrilliantyoungcoderwhospendsherdayscreatingnewwaystomakelifeeasierforherfriendsandfamily.nLilyNguyenisMillie'sbestfriendandclosestconfidante.She'salwaystheretoofferalisteningear.nMayhemisthenameoftheextremelypowerfulAIsystemthatMillieaccidentallycreated.IthasamindofitsownandisalwayscausinghavocforMillieandLily.nPANEL1SCENE:Millieissittingathercomputer,herfingersflyingacrossthekeyboardasshecodes.nMILLIE:I'malmostfinishedwithmylatestproject.Ican'twaittoshowLily!nPANEL2SCENE:Lilyissittingonthecouch,readingabook.nLILY:Ican'twaittoseewhatMilliehasbeenworkingon.She'ssobrilliant!nPANEL3SCENE:Millie'scomputerscreenisflashingredandanerrormessageisdisplayed.nMILLIE:Ohno!WhathaveIdone?12、为多面板漫画创建图稿
对于这个任务，我真的扩展了DALL-E的能力。前两部漫画只有一个面板，但我需要为这一个创建三个面板，并使角色的外观保持一致。
这是我用来创建基本图像的三个提示。
Panel1:"AtechycomicstripwhereMillie,abrilliantyoungcoder,issittingathercomputertyping."nPanel2:"AtechycomicwhereLilyNguyenissittingonthecouch,readingabook."nPanel3:"Atechycomic,Millie,acollegestudentwithredhairandagreenshirt,isworkingonhercomputer,thescreenisshowinganerrormessage,andherfriendLilyNguyen,wearingablackshirtandbluesweatpants,iswatchinginhorror."
请注意，我不得不对提示进行一些文字加工，以尝试为角色获得某种程度的视觉一致性。DALL-E为三个提示中的每一个生成了四个版本的图像，这里是最好的。
总的来说，这些都很好。但是，除了乱码之外，第三个面板中的视觉一致性也存在重大问题；DALL-E不知道角色应该是什么样子。根据提示，它只是尽力而为。
13、创建角色研究为了让角色更真实，我首先在Photoshop中润色了图像，然后创建了一个带有3x2网格的模板，并在左上角渲染了Millie。我让六个面板中的五个保持透明。模板的大小为1024x1024，这是DALL-E的工作分辨率。
然后我将模板上传到DALL-E并使用提示编辑图像，“Millie的漫画人物研究，一位才华横溢的年轻大学生和编码员，以六个不同的姿势从侧面和正面展示她。”这是结果。
显然，DALL-E知道什么是角色研究，并且在以不同姿势呈现我们的主角方面做得相当不错。
为了创建最终的片段面板，我选择了其中一个姿势并将其与透明背景上的Lily图像的一部分一起粘贴到Photoshop中。我擦掉了他们脸上的一部分，看看DALL-E是否可以根据提示填写他们的表情，“米莉的一个技术漫画，一个大学生在她的电脑上工作，屏幕显示可怕的错误信息，她的朋友LilyNguyen看着吓坏了。”这是结果。
该系统在细节方面做得很好，比如米莉的手在她的键盘上打字，并为她提供了双显示器设置。
这是在Photoshop中进行更多清理后最终的三面板漫画的样子，以及来自GPT-3的对话中的气泡一词。
14、最后的想法比较这两个系统，我发现GPT-3在生成文本方面比DALL-E在艺术作品方面做得更好。尽管漫画的初始图像作为概念渲染看起来还不错，但它们需要进行一些清理才能用于生产。但主要问题是DALL-E不能为漫画连贯地生成角色。主要限制源于DALL-E中的1024x1024图像大小。请注意，OpenAI最近添加了一个新的“outpainting”功能，可以更轻松地添加到生成的图像中。但是，新功能只能以零星的方式发挥作用。它只考虑用于图像生成的1024x1024帧。该系统需要一个“上传参考帧”功能来一致地生成视觉元素，比如漫画人物。
原文链接：http://www.bimant.com/blog/gpt-comics-generation/
文章到此结束，如果本次分享的黑脑漫画和基于GPT-3和DALL-E的漫画生成的问题解决了您的问题，那么我们由衷的感到高兴！
