基于美学计算的智能设计方法分析与启示-徐千尧

XXQ

基于美学计算的智能设计方法分析与启示
Analysis and Enlightenment of Smart DesignMethods Based on Aesthetic Computing

徐千尧 Xu Qianyao
吴 琼 Wu Qiong
宫 未 Gong Wei


内容摘要：基于美学计算的智能设计方法能够模拟人类的视觉系统与审美思维并对图像进行美学价值的判断，让计算机能够建模更加复杂的设计任务，也让设计过程不断朝着更加自动化、批量化和个性化的方向发展。本文主要论述了基于美学计算的智能设计方法，包括设计知识与规则提炼以及设计方案生成的设计方法和路径，并对设计师如何应对基于美学计算的机会和挑战进行了阐述。

关键词： 智能设计、美学计算、人机协同


互联网时代让计算机理解、识别图像，生成“美”的内容，是计算机与艺术设计学科交叉研究的一个热点，有着巨大的应用需求。在2005年欧洲计算机图形学会(EG) 举办的第一届图形图像视觉计算美学学术会议上，美学计算的概念被正式提出，用于描述那些致力于运用计算机的计算方法去模拟人类的审美决策的研究工作。


一、关于美的计算
寻找美的规律是关于美的研究中的一个重要主题。早在1719年，老乔纳森·理查森（JonathanRichardson the Elder）提出通过构图、色彩、处理手法、绘画手法、创造性、表现力、是否体现优雅和崇高性等维度对绘画作品进行分析，以进行美的评价。[1]1753 年，威廉·荷加斯在《美的分析》（The Analysisof Beauty ）一书中指出，在对一幅绘画作品鉴赏时，可以运用“S”型曲线进行美的评价。[2]（图1、图2）1933 年，G.D. 伯克霍夫（George David Birkhoff）在其著作《审美尺度》中首次提出了美学的定量评价理论，他将秩序性与复杂度之间的比值（M = Order / Complexity）作为一种度量美学的方式。伯克霍夫认为，美学度量与事物内在的秩序与复杂性相关，例如对于一个多边形，秩序包括垂直和点对称、重复稳定性等要素[3]，而复杂性包括边缘数目等因素，其比值反映了多边形在审美层面的度量评分。[4]这一理论被认为是计算美学的雏形，也促进了后续众多关于审美度量的探索和研究。

基于美学计算的智能设计方法分析与启示

计算机图像识别能力的提升为美学计算的发展创造了条件。2009 年，斯坦福的李飞飞教授等人在2009 年IEEE 计算机视觉和模式识别会议上发布了ImageNet 数据集，用以检测计算机视觉能否识别自然万物。[5]2021 年美国的Open AI 公司推出了“Clip”图片生成器， Google 公司推出了Google Image，这两个工作都是基于计算机视觉的图像创造生成算法。微软亚研院研究的nuwa-infination 通过输入关键词，可以实现从设计描述到设计表达，在文本图像生成、文本到视频生成、视频预测生成等方面都取得了很好的成果。[6]（图3）随着基于计算美学的图像生成技术日趋成熟，相关应用也越来越受人关注。例如，iPhone 的应用根据美学评价自动推荐最佳照片，给用户推荐“精彩回忆”，为用户提供更好的照片管理体验；淘宝首页根据商品美学特征和用户喜好给用户推荐商品；大疆、剪映、花瓣等剪辑软件对视频素材进行自动评估，筛选优质的素材自动剪辑成短视频。广泛的应用也进一步推动了数据和算法的进一步成熟，促进了美学计算的发展，形成了从满足社会需求到进行相应技术研发，再到相关产业健康发展的良好互动。

基于美学计算的智能设计方法分析与启示

二、基于美学计算的智能设计方法分析
与传统的设计不同，在基于美学计算的图像评估和生成过程中，设计师需要与程序员密切配合，总结、归纳相应的设计知识、设计规则，并将之转化为机器可理解的语言，然后就可以借助算法和计算机的算力完成大规模的图像生成，进而大大提升设计生产的效率。（图4）

基于美学计算的智能设计方法分析与启示

1. 设计知识总结& 设计规则提炼：
设计知识总结与设计规则提炼是美学计算的核心内容，是设计师在美学计算中的工作重点。设计知识总结的典型思路是先把设计对象进行分类，总结描述可量化的视觉信息特征，再定义关键特征的视觉特点，将主要的设计知识符号化，最后把能表达设计对象的，复杂多样的设计特征量化为结构化的数据。
设计规则是设计师根据设计理论、经验等总结出来的美的一般规律。尽管美是一个主观性极强的概念，但仍存在一些被广泛接受、认可的规律。例如，公元前5 年，波利克莱图斯提出在绘画中有关于“人脸的三庭五眼以及人的身高与头的比例关系”等美的规律。设计规则将已经量化的设计知识有序地联系在一起，指导智能设计过程或者约束智能设计的结果。设计规则提炼的方法是一个多学科交叉的方法，一般来说包括几方面内容：抽象和优化设计要素并进行分类，设定设计规范，寻找“美”与“计算”之间有意义的关联，构建有序的一一对应关系，制定主要设计要素间的组合与匹配规则。
在笔者参与的“虚拟人的形象设计”项目中，目标是让用户只需输入用户照片和部分信息，就能自动计算出与照片人物相似的卡通3D 虚拟形象，并支持用户的简单编辑操作。面对这个需求，在人脸卡通形象设计时所考虑的关键特征就是基于美学计算的设计知识的基本要素。因此，设计师需要将自己以往的人脸卡通形象设计经验总结为可量化的设计知识，即对不同年龄段、不同性别、不同种族、不同面部特征的人物设计的表现方法进行总结，并注重可量化的表征。在这个项目中，我们把人的五官特征总结了130 多个解剖维度。（图5）这些维度能够基本覆盖人物五官的特征，例如在眉眼特征上（图6[7]），将外眼角大于内眼角、高度高于内眼角且眼裂细长的眼型定义为丹凤眼；眼睛长宽比保持在3:2、内外眼角相连成线的眼型定义为杏眼；眼裂高宽、眼白露出较多且瞳仁色深圆润的眼型定义为圆眼，等等。

基于美学计算的智能设计方法分析与启示

基于美学计算的智能设计方法分析与启示

眉毛也遵循三庭五眼比例，以眉头、眉峰、眉尾三点定位，眉峰位置最高，眉尾不能低于眉头等作为基础标准，再根据用户不同长相特征进行细眉（眉宽小于等于眼高的1/3）、长眉（眉长为眼长1.2 倍及以上）等具体眉眼型区分。其他脸部特征也依照此设计流程，将抽象形态量化为可计算的数据，如头高（颅顶点至颏下点）与面宽（两颧点间宽）的比例为1.618 的是标准椭圆形脸，面宽在头高的1.2 倍左右为方形脸等。综上所述，通过总结人脸面部特征的规律，进而排列组合出不同长相的人物，用于卡通风格转化，实现最终自动生成的“千人千面”。按照以上设计知识的总结方法，项目设计了200 多个虚拟形象，并在这200 多个3D 模型中总结出了能够使虚拟人物面部形象特征发生改变的52 个关键点。实践证明，这52 个关键点在动画应用 blender shape 中足以支撑虚拟形象设计的五官特征变化，并建立了能够驱动基于用户个人特征的虚拟形象计算算法规则。（图7）

基于美学计算的智能设计方法分析与启示

项目在对卡通虚拟形象的风格特征、五官特征的设计知识和经验梳理的基础之上，总结了130 多个特征解剖维度、3D 模型中的52 个关键点，这些设计知识构建了可计算的基础。在基于美学计算的设计中，设计师对设计理解要更充分，有更多的总结归纳的能力，依靠强大的算法，设计师不再需要一个个地设计、建模、渲染，就可以在几分钟的时间内完成大规模的3D 虚拟卡通人物设计，并且与目标用户神似。基于美学计算的设计方法很好地服务了信息时代的大规模生产。
在设计规则提炼方面，运用模版的方式整合所提炼的设计规则是较为常见的方法。在笔者参与的“面向移动终端的广告图像智能生成”项目中，网页广告的设计法则、相关美学原理和设计师的设计经验在被总结、归纳以后，形成了一些设计模版：在设计广告图像的图文排版时，涉及的元素主要有文本、色彩、图像三部分内容，这些元素之间相互配合，形成了不同的版式。( 图8) 此外，文字的大小、字体、字间距等不同形式特征，以及大量字符形式的文字内容，这些特征都会对排版效果产生影响，在模版规则提炼时都需要考虑在内。本项目主要完成了基于设计规则提炼的文本的布局生成方法，并实现了基于移动终端界面的广告图像布局生成。

基于美学计算的智能设计方法分析与启示

在研究过程中，根据上述分析和当前移动终端广告图像常用的7 种尺寸，我们总结出24 个图文混排的模版。这些模版分为横构图和竖构图两大类。横构图根据不同内容和尺寸分为左右布局和左中右布局，竖构图同样根据不同内容和尺寸分为上下布局和上中下布局。此外，还研究了如何基于色彩和谐性原理和主图的色彩来选择背景色，以及基于内容感知的布局优化完成多尺寸的自动适配等。项目的成果已经应用于华为移动终端设备“华为商城”的Banner 设计中（图9），用户只需要输入主标题、副标题、主图和辅图等必要素材，系统就可以帮助用户生成符合一般设计规则的Banner，同时自动适配不同移动终端的尺寸。根据目前的应用反馈，系统生成的Banner 风格统一、视觉效果良好，不仅解决了以往运营经理与设计师以及应用服务商之间的沟通成本，同时帮助设计师完成了烦琐的多尺寸排版工作。项目研究的“图文混排的设计规则”“色彩风格化分析”“系统自动配色”“多尺寸布局”等技术，接下来会服务更多的设计平台，预计年图像处理数量将以千万计。设计与计算结合所产生的巨大潜能令人振奋。

基于美学计算的智能设计方法分析与启示

2. 设计方案生成
知识图谱作为一种可计算模型，能够将设计知识和设计规则系统化、结构化地呈现出来，为从评估到生成提供了一条有效路径。从形状文法、参数化设计、专家设计系统，到目前基于深度学习的图像生成网络，设计特征从符号形态和参数模型为代表的显性表达模式，逐渐向知识图谱和深度神经网络为代表的隐式表达模式转变。这种表达模式的转变让计算机能够辅助完成更加复杂的设计任务，也让设计过程更加自动化、批量化。在基于美学计算的设计过程中，设计知识图谱是构建自下而上的设计流程的重要方法。[8] 设计师需要参与将设计知识中多源异构的数据融合成统一的知识图谱的工作，将大量的设计数据转化为可计算的设计知识和应用，并保证设计知识的一致性和准确性。
在笔者参与的“基于剪辑元素属性约束的自动化产品展示视频剪辑系统”（图10）项目中,目标是帮助用户快速制作视频，即在保证内容呈现与视觉连贯的前提下，降低制作门槛, 提高视频剪辑的效率, 最终产出贴近人工制作效果的视频。[9] 设计师首先依据剪辑元素的提取与分类，分析短视频剪辑的过程与涉及的剪辑元素，然后对这些元素进行知识图谱归类。[10] 例如，剪辑元素包括剪辑节奏、运镜、滤镜、转场、景别、音乐节奏和专场的匹配等，还有一些重要的剪辑元素需要定义。比如在运镜中，设计师总结了运镜的方式有：推镜头、拉镜头、摇镜头、移镜头、升降镜头和综合镜头。移镜头的运动方式有三种：（1）横移，展现横向空间；（2）纵深移，向前或向后移动；（3）曲线移，有圆形、半圆形、扇形和S 形等（曲线运动）。[11] 有了这样的知识总结，在计算机视觉的计算下，可以给每个视频素材打上标签。首先需要计算机判定视频中的镜头是属于哪一类运镜，比如计算出一个物体沿着X 轴从左到右的运动，就可以判定这是“移镜头”，接下来有相应的“移镜头”的知识图谱告诉计算机，下一个镜头要怎么接转场。（图11）在这里，知识图谱将设计师的全域信息结合起来，有效地支撑美学计算过程中完成有效提取、生成、设计、评估等任务。

基于美学计算的智能设计方法分析与启示

基于美学计算的智能设计方法分析与启示

三、设计面临的机会与挑战
设计活动是一个复杂的过程，对设计研究对象的解读常常包含大量主观的视觉感知特征（如风格、语义等）。在美学计算的过程中，如何将这些特征量化为结构化的数据，从而表达设计对象的特点，是设计师需要研究的重要问题。设计问题主观而抽象，设计求解普遍追求差异化，如何将个性化的设计问题拆解为可量化的数学表达，是人机协同中设计师的重点研究问题。将设计师的研究转化为数据，并将之应用于自动化设计过程中，从而批量化地输出满足需求的结果，这种新的设计模式给设计师提出了新的要求，也向设计研究和计算机技术提出了挑战。
在互联网、人工智能和大数据飞速发展的今天，“大规模生产”与“个性化定制”都是典型的应用需求，智能的、自动化的生成方式是解决这种需求的重要途径。阿里巴巴的鹿班智能设计系统，通过机器学习与美学评价的方法，仅在2019 年的“双十一”期间就自动设计生成电商海报17 亿张（图12），投放于淘宝商城，满足了7 亿数量级用户的实时需求，同时兼具一定的个性化内容。

基于美学计算的智能设计方法分析与启示

美是一个具有动态性的概念，美的评价也具有主观性强、标准多元的特点。由于当前技术的限制，目前的美学计算方法，主要还是对设计过程中相对基础的元素组合与例举流程的替代，是在“常规方式”的视角和规则下去定义和评判的，无法取代人在创造活动中的地位和核心任务。[12] 基于美学计算的设计过程需要人的创造力与机器的大规模计算能力相结合，是一个人机深度协同的过程。在人工智能时代，设计师作为“智能”的主体，应当充分发挥主观能动性，发挥自己的创造力和决策力，把重复繁杂的设计工作交给机器，设计师做更顶层的、更有价值的创造性工作。在充满丰富可能性的技术应用浪潮中，设计师会面临更多的边界模糊、充满不确定性的问题，并且常常没有可遵循的经验和答案。当然，作为一门实践性和适应性极强的学科，设计也在对新问题的不断分析、反思和对新技术的运用中持续发展，历久弥新。


＊ 基金项目： 本文为国家自然科学基金面上项目（ 编号：62172252）、国家社科基金艺术学项目（ 编号：19BG127）、中国博士后科学基金（编号：2021M701914）的研究成果。


注 释：
[1] Two Discourses: I. An Essayo n t h e W h o l e A r t o f C r i t i c i s mas It Relates to Painting ... II. AnArgument in Behalf of the Scienceof a Connoisseur ... [M].England:A.C. and sold, 1719.
[2] Hogarth W. The Analysis ofBeauty: Written with a View of Fixingthe Fluctuating Ideas of Taste[M].Georg Olms Verlag, 1753.
[3] 高寒、唐降龙、刘家锋等：《基于图像分类的图像美学评价研究》[J]，《智能计算机与应用》，2013 年第3 期，第39—41 页。
[4] B i r k h o f f G D . A e s t h e t i cmeasure[M]//Aesthetic Measure.Harvard University Press, 2013.
[5] Deng J, Dong W, Socher R, et al.Imagenet: A Large-scale HierarchicalImage Database[C]//2009 IEEEConference on Computer Visionand Pattern Recognition. Ieee, 2009:248-255.
[6] arXiv:2111.12417 [cs.CV].https://doi.org/10.48550/arXiv.2111.12417
[7] 引用：眼型自测｜眼睛风格[EB/OL]. 2022.06.02.http://xhslink.com/TegTWj
[8] 华来知识，知识图谱构建流程详解[OL]，2021。https://wenku.baidu.com/view/9033a7e288d63186bceb19e8b8f67c1cfbd6ee4f.html
[9] 鲁雨佳、陈实、帅世辉、王禹溪、杨昌源、孙凌云：《基于剪辑元素属性约束的可计算产品展示视频自动剪辑框架》[J]，《计算机辅助设计与图形学学报》，2020 年第7 期， 第1101—1110 页。
[10] 李玲：《视听语言教程：影视·元素·艺术感》[M]，北京：中国传媒大学出版社，2016。
[11] 同[10]。
[12] 杨晓犁：《人工智能背景下的视觉设计方式变革与思考》[J]，《美术大观》，2020 年第10 期， 第131—133 页。