DMP系统技术架构【技术类】

要建立一个完整的大数据系统，需要扎实、完善、高处理效率、高安全性、高稳定性、易扩展、大规模存储的技术架构。以下是一些截取物DMP系统的技术架构图(主要包括应用架构、数据架构、技术架构等。)供大家参考，对非技术学生也有一个感性的认识。不要做大规模的发展。

应用架构主要是从应用功能的角度描述模块之间的关系和分工的图纸，主要从应用集成视图和功能视图的角度。帮助您直观地了解系统，并帮助每个模块协调开发和友好集成。

集成视图：

该视图主要反映了各模块之间的关系，如图9-28所示DMP以系统为例，大数据平台（BigData）通过不同的渠道交换或收集数据。例如：通过数据采集网络采集线下扫描设备采集的用户扫描数据，WIFI上网服务Portal用户登录认证数据、互联网数据、点击流数据等，从企业数据、连锁店、特许经营店等线下场景中获取扫描数据、认证数据、互联网数据等。交换各种业务维度的位置数据、消费数据、通信数据等，准确描述用户行为。在本例中，大数据平台以服务在线广告业务为主要业务应用方向，将广告管理系统视为外部系统（大数据为本体域，业务应用为客体域），进行外部数据交换，开放用户离线ID及线上ID。将用户的线下行为与线上行为相结合，分析并贴上标签，指导线上程序化广告。广告系统将从媒体、广告系统、ADX、在广告监控中收集各种在线用户行为数据，并将与在线广告相关的查看、点击、招标信息等数据注入大数据系统，从大数据系统中获得人群肖像、招标决策等数据支持。当然，不同的业务应用目的将连接不同的业务系统交互数据，并将大数据服务于不同的业务应用目的。

图9‑28 DMP集成视图示例

功能视图：

主要描述视图DMP如图9-29所示，大数据平台的基本技术功能包括数据采集、数据导出、数据分析、数据可视化等。数据采集的主要功能是收集数据，包括扫描采集数据、验证数据有效性、处理清洁数据、上传数据、备份数据、加密解密、压缩解压缩ID生成等功能模块。数据导出的主要功能是服务内外数据导入导出需求，主要包括内部ID关联、内部ID以及数据导出和外部ID匹配、外部ID功能模块，如数据导入。数据分析的主要功能是根据业务应用方向的需要对数据进行分析和整理。在这种情况下，广告主要包括广告数据分析、人群肖像等功能模块。数据可视化是数据有效输出、支持决策、数据显示价值的重要窗口，主要包括数据采集和监控、数据管理、行为域可视化、数据查询等功能模块。

图9‑29 DMP功能视图示例

如果我们想清楚地梳理数据，我们必须首先绘制数据架构。在数据架构中，我们将根据现有的数据内容和应用方向绘制主题域。通过对主题域视图的描述，我们可以对系统主要管理的数据维度和数据之间的关系有一定的了解。这可以有效地引导有目的地收集和交换数据。我们通常将数据分为不同的主题域进行存储和分析。不同的主题域有唯一的主域数据对象，其他数据是围绕主域数据对象族的客体域数据。如图9-30所示，以人为核心的本体域，包括个体特征、身份证号码、群体特征、本体关系网络、标签、数据维度、类别等。作为人本体域，有许多描述的图像数据，如计算机网络中的应用层QQ微信，表示层CookieID、网络层的IP地址，物理层MAC电信网络中的地址、手机号码、IDFA、IMEI、AndroidID等。相对于以人为本的主体是客体区域，即与人相关的对象或非本体数据或行为，包括个体特征和群体特征。对于以广告为主要业务应用方向，以广告为主要描述的客体数据，如计算和网络中应用层的广告ID行为语义表达等。人类本体和网络广告和行为数据对象通过时间和空间交互，这些相关数据记录在交互域中，如电子邮件记录、网络记录和广告行为、网络层DHCP上网IP电信网络中的终端位置、通话记录、基站位置等自动获取记录、物理客户端位置和设备位置。只有通过如此严格和丰富的数据区分，我们才能有效地分析数据，找出有价值的内容。

图9‑30 DMP主题域视图示例

技术架构通常是从技术实现的角度划分不同技术开发组件和模块的重要过程，以确保开发分工的协调性和系统功能的完整性。对组件视图的描述非常重要。在一般技术开发中，不同的技术组件必然会被划分，主要是为了提高组件在系统建设中的可重用性，提高重用率，提高系统代码质量，减少重复轮的浪费。如图9-31所示，我们将DMP系统的技术组件分为基础资源，主要负责资源的管理和操作交互（bd-res）、主要负责业务处理的业务层（bd-mod）、接口层主要负责集成和输入输出接口（bd-port）、以及贯穿各层的公共工具（bd-util）。公共工具（bd-util）也就是说，每个人在各级技术开发中都会使用的公共工具，如异常处理、类管理、开发调试工具等。基础资源层主要负责数据库处理等资源的管理和操作交互（res-db）包含对hbase、jpa、redis交互模块、文件处理等（res-file）包含对csv、excel、大数据文件dfs、文件系统fs等交互模块，网络处理（res-net）包含对ftp、http、 ** il、rest交互模块、流处理等（res-stream）包含对mns、ons等交互模块，还有对缓存（res-cache）、大数据计算资源spark（res-spark）、大数据计算emr（MapReduce）资源（res-emr）、通用资源（res-common）等交互模块。业务层负责业务处理，如基于spark业务计算模块(包括聚集（gather）、学习（learn）、训练（trans）(训练包括清洁（clean）、映射（ ** p）、聚类（aggregate））、查询（query）（包含匹配（ ** tch）、导出（export）、检索（search））），基于流业务计算模块（mod-stream），基于mr（MapReduce）业务计算模块（mod-mr），基于共享内存业务计算模块（mod-shm）等。接口层主要负责集成和输入输出，如集成接口模块（port-integration）、客户端接口模块（port-cli）、API接口模块（port-api）、WEB接口模块（port-web）等。

图9‑31 DMP组件视图示例

(转载请注明出处:微信订阅号:ad_auto ** tion）

文字表达有限，欢迎参加《www.xilukeji.com线下课堂面对面回答你的问题。

上海西陆信息科技有限公司 承接各类微信小程序开发制作、小程序定制、APP 网站 开发制作，联系电话 18221533805、15900430334