本文转载自CGO数字增长与智能品牌传播，顾明毅译，并作注解，标示为蓝色字体。

In-Depth Survey of Digital Advertising Technologies

《数字广告技术的深度调研》

约翰 寇普兰教授团队，佐治亚理工学院，电子与计算机工程系，亚特兰大

1.Gong Chen,Departmentof Electrical and Computer Engineering, Georgia Institute of Technology,Atlanta, GA；

2.Jacob H.Cox, Jr.,Department of Electrical and Computer Engineering, Georgia Institute ofTechnology, Atlanta, GA；

3.Selcuk Uluagac,Department of Electrical and Computer Engineering, Florida InternationalUniversity, Miami, FL；

4.John A. Copeland,Department of Electrical and Computer Engineering, Georgia Institute ofTechnology, Atlanta, GA；

https://ieeexplore.ieee.org/document/7390161

摘要：      

事实上，世界上一些最知名的IT公司都是通过数字广告获得主要收入的广告公司。由于数字广告的原因，这些IT巨头能够以改善我们日常生活的方式不断推动信息技术的发展。这种关系的好处包括具有强大搜索引擎和移动应用程序的免费Web浏览器。尽管如此，事实证明，“免费”是通过我们在数字广告生态系统中的互动interactions来支付的。数字广告并非没有挑战。问题源于用于支持Web和移动应用程序界面上的广告的复杂平台。对于广告链接尤其如此。此外，随着广告开发的新方法的发展，也有可能影响其基础生态系统的好坏。研究人员有兴趣了解这个生态系统，影响它的因素，以及改进它的策略。

这项调查的主要贡献在于它是数字广告生态系统的第一次审查，因为它适用于在线网站和移动应用程序。在此过程中，我们将解释此生态系统中的数字广告关系及其技术、社会、政治和物理影响。此外，探索广告原则以及合法和恶意的其他广告方法的变体，以便比较和对比竞争性数字广告技术。

关键字：数字广告，移动广告，在线广告，货币化，网络，隐私，安全，广告网络，广告政策。

SECTION 1

Introduction：

数字广告（例如，互联网广告），包括在线广告和移动广告，是整个互联网货币化的推动力。虽然自20世纪80年代以来，在线广告一直在改变行业内的规则，但相对较新的应用移动广告已经在手机市场占据了一席之地。这些平台共同推动广告收入达到历史最高水平。根据互动广告局IAB2014年第一和第三季度报告，互联网广告收入同比增长17％[1]，[2]。这些报告还分别指定了116亿美元和124亿美元的季度收益。虽然互联网广告的增长令人印象深刻，但从2012年（101亿美元）到2013年（193亿美元），全球移动广告收入实现了92％的巨大增长。Gartner进一步预测2013年至2016年将再增加100％。这种创造收入的巨大潜力使数字广告成为网络和移动技术的主要推动因素。

注：今天美国数字广告收入达到1040亿美元，占广告总收入2020亿美元的51.5%（MANGA，2018）；而中国数字广告收入占比超过了53%。

例如，消费者现在接触到直接显示在其设备上的HTML5富媒体广告（简称为“广告”）。与这项技术保持同步，蜂窝网络不断升级其基础设施，以支持额外的开销。当然，这最终会改善浏览网站或使用移动应用程序时的客户体验（简称“APP”）。此外，广告技术正在推动旨在保护用户隐私的政治立法。例如，联邦贸易委员会FTC和加利福尼亚州检察长提交的2013年报告[3]，呼吁通过限制应用程序开发人员使用数据收集和存储来限制用户的跨应用程序跟踪。同一报告还建议应用程序开发人员取消对全局设备标识符（即移动设备的标识号）的访问。同样，开发人员被调用来加密数据，限制对用户信息的访问，并使用特殊通知来唤起用户对应用程序隐私设置的注意。其他隐私惯例，例如解释如何收集和使用用户的个人身份信息（PII），已经在美国一些州和欧洲被强制执行[3]。

从高层次观察，广告经纪人基本上与广告主合作，将广告投放到愿意接受host他们的网站和移动应用上。移动广告的形式可以包括移动视频和电视，文本和多媒体消息，移动网络和许多应用。我们的清单更专属化exclusive。鉴于移动广告的重要性日益提高，在本次调查中，我们主要关注移动设备上展示的在线广告和应用内广告。此外，为了提供及时且与移动广告状态相关的调查，我们将此调查的范围限制为2007年至2016年发布的技术论文以及相关网站的近期文章。此外，我们将应用内移动广告与基于网络的广告进行比较和对比，以揭示移动广告研究人员，专业人士和技术娴熟的业余爱好者可能感兴趣的基础统计数据。本调查还引入了许多术语，为了读者便利，它们列在表I中。

本文调查报告做出了以下贡献：

1.第一份与在线和移动广告相关的技术调查报告。

2.探讨了与数字广告相关的算法。

3.在线和移动广告角色形成鲜明对比。

4.比较了学术界和业界的广告研究和发展目标。

如图1所示，本次调查的其余部分结构如下。

第二部分，提供了数字广告的背景，包括基本概念和基础统计。

第三部分，我们确定了数字广告中使用的主要货币化monetization方法。

第四部分，介绍了广告生态系统中固有的网络方案。

第五部分，解决了用户的隐私问题和广告商的目标。

第六部分，分析了当今影响数字广告的各种恶意软件和对策。

第七部分，介绍了引导广告研究的人为因素。

第八部分，强调了移动设备的能源和数据限制及其与在线和移动广告的相关性。

最后，在第九部分中，讨论了调查中的其他兴趣点，然后在第十节中作出结论。

SECTION 2

Background

数字广告是一种相对较新的营销形式，在整个互联网上迅速扩散。随着在线和移动平台为营销人员提供更多获得客户的场所，这些平台也经历了许多技术，政策和安全方面的变革。对于历史背景，表II和表III分别提供描述在线广告和移动广告中值得注意的里程碑的时间线。

数字广告系统包括了系列基础设施，从而能允许用户、出版商和广告主在广告生态系统中与广告经纪人进行互动。虽然发布商在其网站上提供广告空间，但广告主会花钱将广告投放到这些网站上。因此，需要发布者和广告商之间的协作。虽然一些大型广告客户可以像传统广告牌和纸质媒体那样直接与少数大型发布商进行协商，但这种直接合作并不适合当今互联网上的大量发布商和广告商。广告经纪，包括广告网络（简称为“广告网络Ad network”）和广告交易（简称“广告交换Adx”）代表多个代理商。虽然广告网络基本上介于发布商和广告商之间，但广告交易平台为各种实体（包括广告网络，供应方平台和需求方平台）之间的广告空间提供拍卖。因此，当用户在网页上查看多个广告时，这些广告展示可能来自多个来源，如图2所示。

1.在线广告生态系统Ecosystemfor Online Advertising

图2中红色突出显示的路径代表了学术界广泛使用的简单模型。在该图中，广告商表示货币来源，而用户充当动作的发起者。但是，用户必须启动与发布者（或应用程序开发人员提供的应用程序）的所有操作。广告网络是将所有人链接在一起的实体。同样，红线表示广告商与用户之间跳数最少的最简单路径。然而，广告生态系统并不那么简单。其他实体也存在于该模型中，如显示各种交互的多个其他箭头所示。例如，DSP用于聚合多个广告商，而SSP聚合多个发布者。此外，广告交易所与纽约证券交易所类似，因为它将所有买家和卖家聚集在一起。这些实体进一步细分为买方和卖方。买家包括发布商，SSP和广告网络，而卖家包括广告客户，DSP和其他广告网络。请注意，广告联盟和广告交易均承担这两种角色。此外，在这个混合生态系统中，从广告商到用户的所有路径都是可能的。货币流用单箭头显示，而信息流用双箭头表示。

不可否认，广告网络通常使用不同的服务器（即发布者广告服务器和广告商广告服务器）分别管理发布者和广告商；但是，这些服务器被认为是本调查的目的。还有两种类型的发布者，其中包括1）由广告网络（例如，Google搜索或Facebook）拥有和运营的发布者，以及2）不由广告网络管理的联合发布者（例如，reddit或TechCrunch）[4]。这些联合发布商可以是受其服务水平协议SLA约束的高级发布商，也可以是自助发布商，可以随时注册广告网络。我们关注更普遍的案例，其中包括自助发布商。对于这些发布商，必须从广告网络获取广告ID和相应的源代码，并将其放置在发布商的源代码中，以便在发布商的网站上显示广告展示次数。

注：GIT研究者论述了技术专家视角的在线广告生态系统建设路径，参考了非常少的传统广告业知识体系，整个技术路径是秉持互联网行业（Google/Facebook/Amazon）去中心化的思想。

在解释了广告展示如何与自助发布商的网站合并后，我们现在将探讨潜在客户点击广告展示时发生的过程。在图3中，描绘了该过程的步骤。当用户开始加载网页时（步骤1和2），广告曝光是由广告网络服务器的网页源代码中存在的算法请求的（步骤3）。在识别由广告网络分配的发布者的广告ID之后，广告网络的服务器记录该请求（步骤4），应用先前与其广告商建立的规则，并返回包括用于点击跟踪的唯一标识符的广告（步骤5）。一旦用户点击广告（步骤6），就将HTTP GET请求发送到广告网络（步骤7）。这被广告网络视为点击事件，并且出于计费目的而被记录（步骤8）。然后，广告网络通过HTTP 302状态代码将浏览器重定向到通过客户端的广告商的登录页面（步骤9）。着陆页直接托管在广告客户的广告服务器上，也可以托管在内容分发网络（CDN）3上。达到这一点后，用户现在能够浏览登录页面上的项目（步骤10和11）。根据Wang等人的说法[5]，对于分布式网络架构（例如，AOL/Akamai：87毫秒和谷歌：122毫秒），在线广告的内容传递可能需要大约100毫秒，对于独立服务器，大约需要200毫秒（例如，Adblade：207毫秒）。

通常，当广告网络首次遇到用户时，它向用户发送cookie或使用其他间接方法（例如，IP地址和HTTP用户代理组合）。然后，广告网络能够完成API调用或与用户的HTTP响应。结果，广告网络能够标记网络用户，确定他们的浏览模式，并衡量特定广告活动的有效性。

必须在有限的时间内向广告客户出售任何空的广告空间（例如，DoubleClickAd Exchange为100毫秒）；否则，网页上会留下一个空白区域，并且会产生收入损失。为了最大化整个生态系统的潜在收入，多个广告网络正式化了包含预定义收益分成的合作伙伴关系。在需要时，广告网络将要求每个合作伙伴填写。然而，该方法仍然非常低效。因此，广告交换（例如Google的DoubleClick和Yahoo！的RightMedia）通过松散地将所有平台聚合在一起来解决这个问题。基于实时出价（RTB），广告交易平台能够执行大规模聚合并启用单一广告空间出价，从而为发布商和广告网络带来更高的收入，同时为广告客户提供细粒度fine grained的广告位投标。为了完成广告请求，用户必须至少发起四个连续请求，如图3所示：首先是发布商的广告服务器，第二个是广告交易平台，第三个是获胜广告客户的广告服务器，最后是CDN。

随着广告交易的发展，出现了从拍卖到优化的新问题[6]。问题包括固定百分比分摊计划和来自可比市场的激烈竞争[7]。然而，在实践中，广告交换的关注点仍然与广告网络中的问题非常相似。可能这些问题尚未完全确定，因为广告交换仍然很少有大规模数据集。例如，通过在RightMedia中使用广告网络的广告日志，Stone-Gross等人[8]能够找到可疑发布者，主要是通过使用本地流量和个人检测功能。但是，他们无法检测整个平台上的整体欺诈活动。

在更大范围内，RTB基于第二价格拍卖模型。结果，出版商获得相当于获胜广告商要支付的第二高出价的补偿。为了支持这一阶段并验证拍卖的完整性，VEX[9]要求每个竞价广告商在广告交易中启动三方通信。在这样做的同时，VEX仍然能够实现合理的延迟和处理成本。

2.移动广告生态Ecosystem forMobile Advertising

根据文献[10]，与广告网络采用客户端重定向的在线广告相比，服务器重定向用于移动生态系统，以适应较慢的连接和有限的数据使用。此外，与在线广告不同，移动广告与移动设备上的应用程序融合在一起。结果，这种形式的广告可以为广告商提供与用户及其个人信息交互的独特方式。我们现在讨论可供移动应用程序设计人员使用的平台和库，以寻求通过应用内广告从他们的应用中获利。

（1）移动平台根据

Gartner[11]的说法，Android和iOS是世界上最流行的两种智能手机平台。虽然Android和iOS平台都吸引第三方开发人员创建移动应用程序，但所有这些应用程序必须在沙盒应用程序执行环境中作为非特权用户运行。此外，开发人员可能会在所有移动平台上遇到有限内存。例如，在WindowsPhone中，允许应用程序在运行时消耗不超过90MB的RAM[12]。此外，智能手机包含传感器（例如，GPS，加速度计，陀螺仪，磁力计，照度计，麦克风，相机和扬声器）。因此，许可系统用于通过应用程序编程接口（API）调用来控制对系统资源的访问。

可以通过以下两种方式之一授予应用程序权限：1）使用时间和2）安装时间。前者在iOS和Web浏览器中使用，要求用户在应用程序触发特权API调用时批准或拒绝资源（例如，位置）的权限。Android中使用的后者会在安装应用程序之前提示用户批准清单文件中列出的危险权限。这些危险的权限（例如，RECORD_AUDIO）可以访问私人用户数据或对设备进行控制。遗憾的是，安装过程中的权限授权是全部或全部。这意味着用户必须在安装期间为所请求的用户拥有的资源授予访问权限或终止安装。

注：“录音权限”破坏隐私问题，在2018扎克伯格国会听证会上也有议员询问Facebook。现已引起高度关注，包括欧盟GDPR通用数据保护条例（2018），中国《网络安全法》（2017），《数字安全管理条例》（2018）等系列法规，美国加州CCPA《加州消费者隐私法》（2020生效）都在加强监管。

Android应用程序缺少单个入口点，如main（），并且由一个或多个应用程序组件（即活动，服务，内容提供程序和广播接收器）组成，它们通过它们与系统交互[13]。当特权应用程序进行API调用时，组件在后台透明地运行时也会发生权限重新授权[14]。对于每个应用程序，唯一的Android UID与其权限列表相关联（在应用程序的AndroidManifest.xml文件中指定）。这些系统权限可以分为4个保护级别（即普通，危险，签名，签名或系统）[15]。通常，应用程序开发人员必须在应用程序开发期间遵守最小权限原则。但是，Stowaway[16]仍然在Android应用程序中识别出过度特权问题（即需要不必要的权限）。作为一个计数器，PScout[17]使用静态分析来揭示少数情况下不必要的非系统权限使用，Quire [18]允许应用程序通过跟踪进程间通信（IPC）调用链来调整其权限。

对于iOS，只允许第三方应用程序使用公共框架。任何私有API的使用都会导致Apple审核过程中的直接拒绝，该过程要求所有可执行代码都使用Apple颁发的证书进行签名。据称，审查过程非常安全，但攻击者仍然可以通过在应用程序审核过程之后构建新的执行路径来实现恶意活动[19]，或者通过恶意充电器注入恶意软件[20]。

（2）广告图书馆

Android和iOS中移动广告的开创性讨论可能分别归功于TaintDroid[21]和PiOS [22]。TaintDroid发现其一半的研究应用程序以明文或二进制格式与第三方广告服务器共享位置信息，未经用户同意。同样，通过对1.1K畅销免费Android应用程序的研究，Enck等人[23]确认广告和分析（简称“A&A”）服务愿意探索许可并获取其他关键信息，例如用户移动电话的国际移动台设备身份IMEI。至于iOS，PiOS指出，由于其嵌入式A&A库，超过一半的研究应用程序导致泄漏唯一设备标识符UDID。虽然Egele等人[22]只预测AdMob收集的40字节标识符与谷歌帐户相关联，史密斯[24]证实，许多应用程序正在收集亚马逊，Facebook和/或Twitter的UDID和登录信息，他们能够实时跟踪用户，揭示他们的使用模式。当与长期跟踪cookie或带时间戳的IP地址结合使用时，用户的位置信息和其他私人数据将被交出并注册。在一项后续研究中，Smith[25]也声称数百万UDID被泄露给应用程序开发人员甚至黑客。同样，Smith[25]指出iAd横幅也会收集并将UDID传输给Apple。

为了从应用中获得持续收入，许多移动应用开发者都会考虑移动广告。例如，Flurry独立于“愤怒的小鸟”来收集和上传统计数据到远程服务器，以便在游戏过程中下载和呈现广告[26]。开发人员注册他们的财务信息[27]及其应用程序的元数据，其中包括应用程序名称，类别，请求的权限，应用程序商店链接，平均评级和下载次数[12]。反过来，开发人员会收到一个标识符和一个软件开发工具包（SDK）。SDK为开发人员提供了使用其广告库（简称“广告库”）的必要说明，并为广告网络所需的复杂提取和报告协议提供了抽象。因此，库可以使用WebView来促进广告加载；但是，在WebView中使用JavaScript接口可能会导致恶意网页或其他应用程序的攻击[28]。

用户隐私还有许多其他漏洞[29]。在我们调查的论文中，报告了每个应用程序中植入的广告库的数量，其中一个研究人员与下一个研究人员的结果不同。虽然大多数应用程序捆绑了多个广告库[23]，[30]，但研究人员[31]声称超过75％的32K应用仅捆绑了一个广告库，其中大约1％捆绑了超过五个广告库。通过广告库，广告服务器可以通过与每次广告展示相关联的唯一点击网址跟踪点击事件，从而恰当地分配广告收入[32]。在Android中，要求开发人员在AndroidPackage Kit（APK）中包含广告库所需的权限。由于应用程序使用的所有权限都存储在AndroidManifest.xml文件中，因此广告网络可以访问与主机应用程序相同的服务。每个广告库可能需要不同的权限，但始终需要INTERNET权限[33]。

移动广告不仅用于宣传外部品牌，还用于宣传市场中的应用[34]，并且它们通常被植入横幅和插页式广告[35]，如表IV所列。静态广告的大小最多为15KB;但是，这些广告的平均大小分别在1.5KB到5KB之间上传和下载[12]。除了横幅广告和插页式广告外，Android中还有通知广告（例如，AirPush，MobPartner和SendDroid）和图标广告（例如，EverBadge和AirPush）。顾名思义，一个显示在应用程序的通知区域中，而另一个显示为应用程序主屏幕上的快捷方式。当然，出于可理解的原因，这两种广告方法都不受欢迎。他们主要违反Google的开发者内容政策。其次，它们对用户满意度产生负面影响。对于广告库，它们可以分为三组[27]：1）移动网络库，2）富媒体4库，3）广告媒介5。虽然后者使用传统的网络技术来请求，传递和展示横幅广告和插页式广告，但前两个群组使用HTML5来制作视频广告。由于移动应用开发者可能捆绑了多个广告库，因此广告调解员（例如，AdWhirl，MobClix和Burstly [35]）已经出现，以协调应用中的各种广告库。此外，他们会根据开发者的广告百分比分配等因素从订阅的广告网络中查询广告。如今，大多数广告网络都提供了中介选项。例如，AdMob允许与16个其他广告网络（例如，Adfonic，Flurry，InMobi，iAd，Jumptap，MillennialMedia等）进行调解。这些中介服务的引入可能会增加开发人员的收入，并且在一个广告网络无法呈现广告的情况下，另一个广告网络能够填补该空间。

广告库的受欢迎程度可以通过使用该库的应用程序数量或包括库[33]的应用程序安装数量来计算。虽然前10名，前25名和前33名广告图书馆分别占据应用安装[71]的71％，90％和95％的市场份额，但AdMob与其他Google广告和分析服务一样，在Android系统。2010年，AdMob为全球超过15,000个移动网站和应用提供广告[37]。在研究了Google Play的55K免费应用程序后，Tongaonkar等人[38]显示，近12K应用捆绑了最受欢迎的广告库（即Google广告）。同样，Grace等人。[27]揭示，在Android应用中，Google的AdMob，AdSense和Analytics网络被列为100个可比较的图书馆中的前五名。Flurry和MillennialMedia是另外两个进入前五名的图书馆。

在一份研究中[35]，在为期一天的主要欧洲移动运营商网络流量跟踪期间，发现大约4.5％的Android和iOS用户至少点击过一次AdMob广告。据推测，Android和iOS中超过三分之二的广告流量与AdMob相对应。更为普遍的是iPad设备上的AdMob。在这些设备上，AdMob超过了Apple拥有的广告库（即iAd），市场份额超过90％[35]。由于其普遍存在，AdMob经常被研究人员用于案例研究。导入AdMob后，开发人员通过在XML布局中声明AdView或将AdView实例直接插入视图层次结构来处理布局[39]。为了请求广告内容，广告库会触发AdRequest并在AdView中加载广告[40]。与其他广告库（例如AirPush）一样，AdMob会混淆API调用以保护知识产权[27]，[40]。然而，它还要求提供单独和明确的GPS坐标[29]。这些移动广告交互主要通过使用REST API的纯文本HTTP GET请求来完成[35]。收到请求后，AdMob会在内部调解所有Google广告服务（例如DoubleClick和AdSense）。当然，其他广告网络可以使用不同的协议。例如，InMobi每个广告发送一个HTTP POST请求，MillennialMedia建立两个HTTP连接，以便从不同的服务器获取广告和相关的静态内容[35]。

SECTION 3

1.货币化Monetization

通常，在数字广告中存在两种广告类型（即，显示广告和搜索广告）和四种定价模型（即，CPM，CPC，CPA和CPL）。表V中描述了广告类型和定价模型之间的关系。请注意，未对齐的行旨在表明展示广告还包括CPC/CPA/CPL。展示广告还包括内容相关广告和行为广告。此外，在所描述的这些模型中，CPM和CPC是最常见的两种。

出于预算目的，许多广告主为其广告（或广告）分配预算，以跨越指定的时间段。例如，基于类别的广告（例如，上下文显示广告）每月更新（例如，Revisitors.com上的每月5K点击成本为28.95美元），而基于关键字的广告（例如，搜索广告）每天支付（例如，谷歌：4.5美元/点击和雅虎：$ 3.0/点击）[41]。出版商同样寻求利润，并获得广告广告商支付的高达70％的利润。最后，广告网络会收到广告客户付款的剩余份额。例如，广告网络保留了广告客户付款的30％左右（例如，GoogleAdSense为32％），并将剩余部分分配给其发布商。在其他情况下，发布商必须提供一定数量的转化才能从广告网络或广告商处收集（例如，智能定价）。然而，广告网络可以使用广告联合业务模型来进行套利（即，购买廉价的广告空间并以更高的成本转售它们）[8]。例如，Criteo通过向发布商支付每千次展示费用并向广告主销售每次转化费用CPC/CPA来中介发布商和广告客户之间的关系[42]。最后，eCPM指标用于评估转化率和总体成功率。

2.在线广告的定价机制PricingMechanisms for Online Ads

（1） CPM收益模型Revenue ModelCPM是一种相对简单的定价模型。在CPM中，展示费用（CPM（u，p，a））取决于三个变量[43]，网络运行（RONa），流量质量乘数（TQMp）和用户意图（Ia（u））的乘积:（CPM（u，p，a）=RONa×TQMp×Ia（u）。广告网络中的正常RON广告系列a评估广告主的基本价格（平均为1.98美元），因为它不是专门针对用户的[44]。TQM取决于发布商p的广告空间的潜在价值。例如，受欢迎的发布商的广告空间可能需要更高的费率（流行发布商为2，声誉不佳网站为0.1，其余发布商为1）此外，广告空间的位置如果落在典型用户的网页浏览习惯中则很重要[45]。此外，用户意图通过用户u的网络跟踪推断（范围从2到10，但是平均为3.3[46]，对CPM模型和HTTP数据集的研究表明，50％的用户的意图可以准确估计[43]。

（2）拍卖搜索广告和行为展示广告的大部分广告空间都是通过RTB销售的。但是，RTB存在多种方法。表VI列出了其中一些及其描述。其他拍卖功能包括CPA，学习算法和预算优化。

单个广告或多个广告出价也存在各种拍卖机制。Stavrogiannis等人讨论了三种不同的拍卖类型[52]，并包括第一次价格密封投标拍卖和前后奖励Vickrey拍卖。他们发现，预授予Vickrey拍卖是这些模型效率最低的。他们还发现，在同时进行多项目竞标的情况下，大多数评估公司更喜欢广义第二价格（GSP）模型或Vickrey-Clarke-Groves（VCG）模型[53]。例如，Google，Bing和Yahoo!Facebook使用VCG时使用GSP[48]。Edelman等人在工作中进一步评估了这些模型的性能[54]，他们发现这两种模型都根据其出价和质量得分的数学计算来计算广告客户的CPC。当用户查询Google搜索引擎时，搜索引擎结果页面（SERP）呈现相关的查询结果（即，与用户的搜索查询紧密匹配的那些）和赞助结果（即，搜索广告）[54]。然后，根据竞价广告展示的所有广告客户的竞价分配这些广告。要参与竞价，广告客户需要提交广告代码，这些代码是与每个广告相关联的出价，以及由关键字和位置组成的定位信息。由于搜索引擎可能包含数百万个竞标关键字[12]，因此一些研究人员[55]研究了更好的广告索引如何能够更快地获得广告检索。因此，当广告网络接收到广告请求时，在匹配用户的搜索标准的广告之间执行拍卖，并且显示适当的广告。结果，前几个广告根据他们的排名显示在Google的搜索结果中，这取决于他们的最高预期收入或排名得分（即出价*质量得分）。但是，点击后的搜索广告的费用会根据下一个排名较低的广告进行计算，如表VII所示。在[56][57]  - [58]中进一步讨论了优化广义第二价格GSP。然而，VCG拍卖系统向中标者收取由其获胜引起的所有其他投标人的潜在损失[59]。

根据出价值，某些广告网络可以生成广告展示的潜在观看者数量的粗略近似值。例如，Facebook允许广告客户创建细粒度的定向广告，并通过实时“估算覆盖率”框提供对符合条件的人的即时评估，该框还包含广告未来业绩的详细报告[60]，[61]。至于质量得分，使用点击率，广告相关性，目标网页质量，加载时间和用户影响等因素进行预测。根据眼动追踪研究[45]，用户对质量好的广告的视觉注意力是质量较差的广告的两倍。对于点击率，优质广告估计接近13％，而劣质广告的广告得到的不到1％。此外，质量差的广告令主办的出版商感到难堪[62]。影响CTR的其他因素包括有影响力的用户。例如，根据AdHeat[63]，有影响力的用户可以说服其他用户为更高的点击率做出贡献。而且，点击后，目标网页就可用于准确选择搜索广告[64]或自动推荐出价关键字[65]。最后，大多数广告客户现在在拍卖期间使用出价代理[66]，这加快了离线优化的周期并有效地检测了在线出价阶段的错误。

（3）转换跟踪Conversion Tracking

有许多技术可用于跟踪有望实现转化的点击事件。例如，为了跟踪诸如在线购买和注册之类的潜在转换，广告商可以选择嵌入由广告网络提供的分析代码。他们还可以选择生成自己的代码，以跟踪其着陆页中的点击率。但是，广告客户更关注转化，转化可能会在点击后数小时或数天发生；然而，研究表明，大多数转换发生在点击的最初几个小时内，之后很快就会下降[67]。如果广告主使用广告网络的转化跟踪算法，广告网络也可能会利用智能定价算法来惩罚流量无法产生转化的发布商[4]。它甚至可以根据计算的转化率为受影响的广告主提供折扣，该转化率表示实现转化的展示次数与所创建的总展示次数之间的比率。

其他方法使用在线行为广告OBA来跟踪转化。顾名思义，OBA广泛用于行为定位，这要求发布商嵌入跟踪像素或包含特定广告网络链接的JavaScript代码。此选项通过在所有网站上通过HTTP包含PII和Web内容来实现Web跟踪，并加强广告网络内的协作。通过分析历史转换的广告活动和相应的元数据，如登陆页面，并将其与用户信息相结合，Agarwal等人[68]演示了如何使用新的或现有的广告系列自动有效地为目标用户提供服务，以实现更好的转化。在Archak等人完成的类似工作中[69]，框架用于从广告中挖掘用户的长期行为模式。但是，对在线广告的估计有时是不准确的。例如，一些实验表明，观测数据的重要性通常被高估[70]。同样，Farahat和Bailey[71]认为品牌兴趣Brandinterest是确定目标点击率的唯一决定性因素。

通过这些功能，广告网络可以单独定制投放给用户的广告。实际上，此类定位广告可以提高广告客户的转化潜力，并可能增加整个生态系统的收入。例如，[43]表明，在向创收用户的前5％提供不相关的广告时，广告网络的收入可能会下降35-60％。但是，针对性较差的广告可以将点击率提高670％[60]。根据从Bing的搜索引擎[67]获得的日志，广告商通常更喜欢将出价与用户的先前活动相关联。例如，他们可能希望确定哪些广告关键字带来最高的转化率。因此，在定位时，广告主会考虑三个因素。在决策方面，广告网络要么使用全部或部分这些因素。例如，AdMotional[72]整合了所有三个定位条件，以个性化广告，同时以不同的时间间隔观察和优化其规则。

这三个因素是（计算广告最基础和最本质的效益最大化算式因子）：

a. 广告主的出价和预算；

b.发布者的网络内容，包括上下文信息（例如，网页分类和搜索查询）和背景情境信息（例如，用户相关的空间和时间数据）;

c.用户的兴趣和行为信息（例如，身份和人口统计）

3.移动应用中的广告成本与收入Ad Cost & Revenue in Mobile Apps

本文统计，Android市场上73％的应用程序都是免费的[73]。那么，为什么有那么多免费的广告支持的应用程序，而不是付费的无广告应用程序呢？如果我们观察三点，这个问题很容易回答。首先，市场收取了佣金约为应用价格的20-30％。其次，根据Gartner的预测，用户预计将免费应用的下载量从2013年的90％增加到2016年的93％[11]。同样，20％的免费应用程序获得超过10K的下载量，这与仅有0.2％的付费应用程序（下载量超过10K）形成鲜明对比[73]。第三，从开发人员的角度来看，应用程序开发人员可以从传统发布者（使用在线广告模型）获得持续收入，用于开发支持广告的应用程序。因此，“Legends of Descent”游戏开发者[74]透露，广告支持的免费应用程序将获得大约50倍的下载量，并且其收入大约是其付费广告免费版本的10倍。出于这些原因，应用开发者可以获得更高的回报，以获得免费的广告支持定价策略。在另一项研究进行的收支平衡分析[75]中，可以找到对付费应用程序中选择免费，广告支持的应用程序的进一步支持。他们发现免费应用程序的收支平衡广告收入每次下载约0.21美元，而付费，畅销应用程序每次下载接近0.033美元。

然而，这个故事可能比人们预期的要复杂得多。Wei等人[76]预测免费应用程序的成本可能高于其付费对象，因为它们的A&A流量明显较高。一致地，Khan等人[30]评估免费广告支持的应用的真实成本。考虑到Fruit Ninja的平均广告流量速率为5.61 Kbps，Verizon 2GB/ $ 30套餐的用户将承担40 MB数据或每月56美分的费用，假设游戏每天播放30分钟。同样，Zhang等人[77]从Android和iPhone中的几个流行应用程序的免费和付费版本推断，免费应用程序生成更多的A&A流量。因此，使用流行的免费应用程序（例如，iPhone中的词典或Android中的愤怒的小鸟Rio）的AT＆T 300MB / $20计划用户将比使用购买的等效应用程序花费多48％至1299％的钱。

由于畅销的免费应用程序通过移动广告为开发人员带来更多收入，因此剽窃者重新打包这些应用程序并背负他们自己的广告客户ID以窃取广告收入，有时还会植入可疑的有效负载[78]，[79]。因此，AdRob[32]调查了这种现象的后果，其中来自17个应用市场的265K Android应用程序以及来自美国一级移动运营商的12天HTTP移动广告流量跟踪。在对原始应用及其相应的盗版版本进行群集后，他们表明原始应用开发者平均失去了14％的广告收入和10％的用户群。在所有应用程序中，与游戏相关的应用程序遭受的克隆百分比最高。

当然，流行的应用程序和网站会影响整个生态系统。在监测和分析四个流行的第三方Android应用程序市场（即SlideMe，1Mobile，AppChina和Anzhi）超过七个月后，Petsas等人[75]发现应用下载完全遵循帕累托原则（即，前4％的应用占这四个市场总下载量的70％至90％）。在某些情况下，前1％的应用程序占下载量的70％以上，安卓市场就是这种情况。发布者也可以进行类似的比较。例如，在集合商中，前5％占总收入的90％[43]。因此，上述研究中的蜂窝网络的国家级数据集显示，Facebook收到的广告总收入超过9％。相比之下，Google为大多数用户提供服务-占用户总数的18％以上。

SECTION 4

Networking

在数字广告中，网络广泛受到关注，无论是在线广告还是移动广告。实际上，网络在各种跟踪、测量和分析工作中起着重要作用。表VIII总结了用于数字广告中与网络相关的研究项目的主要技术。

1.在线广告中的跟踪和测量

只要互联网继续成为一个广受欢迎的、复杂和受监管的广告生态系统，它就会给其成员带来重大挑战。广告网络面临的一个挑战包括跟踪用户而不违反在线隐私政策。相比之下，研究人员面临的挑战是准确衡量广告网络如何跟踪用户，因为第三方跟踪技术未被行业公布。同样，安全专家很难识别异常活动[80]。

（1）跟踪

目前，从庞大的人口中跟踪用户在技术上并不困难；然而，没有一个人对被跟踪感到满意。根据一项调查[60]，三分之二的美国人不喜欢根据他们的兴趣量身定制的广告，超过50％的人更喜欢关闭行为定位。相比之下，[81]评估来自187个国家/地区的网络流量，并显示在越来越多的对象中越来越多地使用Ajax和JavaScript，这些对象也在网页中提供网络跟踪。例如，谷歌分析的使用从2006年的不到5％上升到2010年的近40％，其中65％的数据集的人口被跟踪。今天，许多网站捆绑了多个跟踪器。作为回应，一组研究人员开发了TrackingTracker附加组件[80]，该组件在Alexa 500强网站上发现了500多个跟踪器。在一个极端情况下，在网站上发现了超过七个跟踪器[80]。这些跟踪器包括跟踪站点内的GoogleAnalytics（GA分析）以及跟踪网站的DoubleClick和Facebook（即，当从一个网站移动到另一个网站时跟踪用户）。此外，对2006年AOL搜索日志[80]的研究表明，一些跟踪器可以捕获超过20％的用户浏览行为。

为了选择退出网络跟踪，监管机构（例如，FTC）已经提出了几种基于浏览器的解决方案，例如永久退出cookie，阻止cookie，域阻止，DoNot Track（DNT）HTTP开头和Do Not TrackDOM属性[86]，[87]。但是，每个选项都有其自身的缺点，如表IX所示。事实上，即使这些解决方案能够阻止第三方跟踪，仍然可以从发布者[88]获取用户配置文件。然而，未经用户许可的第三方跟踪仍然是道德挑战，最近的研究表明，很多情况下广告不依赖于用户配置文件[89]。因此，研究人员继续寻求与网页中使用的跟踪技术保持平衡，包括广告，分析和社交插件等第三方网络服务，以及用户隐私。

在另一项关于第三方网络跟踪的调查[88]中，非HTTPcookie实现被分类为有状态（即超级新手）和无状态（即指纹识别）跟踪技术。supercookie（例如，本地共享对象和HTML5本地存储）充当HTTP cookie的持久替代。然而，指纹识别（无状态跟踪机制）可以是活动的（例如，社交插件）或被动的（例如，公共标识符）。例如，社交插件，例如Facebook的“赞”和谷歌的“+1”，作为社交网络服务SNS的一部分提供并提供给网站。通常，这些服务以小部件的形式呈现，小部件可以使用iframe元素嵌入到网站中，并以HTTP cookie的形式进行维护。因此，网站可以使用收集的信息将真实身份与社交插件相关联。

同样，HTTP引用，内容类型和用户代理等常用标识符通常用于对HTTP请求进行分组[69]，[81]。此外，基本特征的指纹，例如用户代理和时区，可以唯一地识别所使用的浏览器[90]。此外，如果获得了元数据的简单组合（例如性别、生日和邮政编码），那么研究表明广告商可以唯一地识别超过60％的美国人口[60]。给定33位entropy，同样的程序可以唯一地识别来自世界人口的单个个体[60]。同样，如果仅使用cookie，则使用包含cookie和IP地址的Hotmail，Bing和WindowsUpdate的数据集来确定主机的标识，精度为62％，如果使用两者，则精度为80％[91]。

注：如果技术应用不受法律保护用户隐私限制，在不计成本约束的情况下，通过网络撞库可以精准识别用户成为互联网安全领域难题。以Facebook剑桥分析事件发端，以GDPR为标志，全球对互联网用户数据隐私保护日趋严格。在匿名/脱敏数据安全存储先导下，做跨库匹配识别个人用户面临极其严苛的合规审查。

（2）测量

在评估在线广告的人中，每个人都考虑到不同的最终状态。广告商可能希望证明其广告支出是合理的，以便验证其成本。例如，对着陆页的研究表明，无论是每次点击费用还是每千次展示费用，广告流量的质量都与广告客户支付的价格密切相关[41]。相比之下，广告网络可能希望更好地了解生态系统以增加商机。例如，使用CDN时会发生投放广告的最短延迟，并且在使用独立广告服务器时会出现最长的延迟[5]。广告网络还可以寻求更好的方法来从网页中提取广告关键字，以便呈现上下文和付费搜索广告（例如基于URL的关键字）[92]。

各种方法存在用于测量研究社区内的在线广告。在[84]中，建议使用抗噪方法[83]通过重新加载测试页七次，收集数据并使用隐私增强工具（如DNT标题和选项）对其进行评估来收集超过80％的Google文字广告超过五个网站的网页，以衡量他们的隐私效果。对于质量，Zhang等人[41]利用七个指标（即，流量，鼠标活动，链接访问，用户代理，HTTP引用，时间度量metrics和黑名单）来评估点击流量。而且，虽然FourthParty附加组件[88]测量动态网络内容，但PlanetLab服务器在全球范围内部署，以便测量网络流量[81]和网络延迟或获取广告内容[5]。而且，Krishnan等人[82]使用Akamai的大量全球视频传送数据（包括362M的视频数和257M广告展示数量）来衡量视频广告的完成率和放弃率的有效性。此外，Iam和Pai[81]观察到，所有请求中的高达12％（从前50个视频和广告网站中抽样）都包含广告相关流量。随着市场的增长，这些百分比往往会增加。

通过对包括谷歌大型分布式数据中心网络，AOL基于CDN的网络和Adblade单服务器网络在内的三个主要广告网络的一项研究，研究人员发现，用户浏览模式的最低全局相似性和最高位置相关性发生广告由Google的数据中心提供[5]。有趣的是，[83]发现搜索中的关键字仍占据广告投放的主导地位，73％的广告包含整个搜索查询，93％的广告包含至少一个字词。同样，Chen等人[93]发现，只有当可比广告商的数量足以创造足够的竞争时，收入才会随行为定位而增加。对于视频广告，其完成率受多种因素影响，例如广告排名，广告长度，视频长度和视频内容[82]。此外，他们的放弃率受到诸如观看时间和观看广告的比例等因素的影响。

2. 移动广告中的画像和追踪Profiling & Tracking in Mobile Advertising

由于智能手机用户行为的多样性[94]，几乎每个服务提供商都倾向于从手持设备收集关键信息。谷歌[76]和微软[12]肯定会这样做。在使用tcpdump收集和分析Android设备的网络流量之后，Wei等人[76]显示，多个应用程序（包括TinyFlashlight，Gasbuddy和Instant Heart Rate）的网络流量超过80％用于Google服务之一（例如，地图，广告，分析和Google AppEngine）。同样，Vallina-Rodriguez等人[35]表明Android中的Google服务占广告流量的73％和传输总字节数的80％。此外，开发人员Obermiller和Bayless [74]建议收集与应用程序开发人员一样多的分析用户信息，以便提高用户保留率并增加游戏收入。因此，开发人员使用他们自己的跟踪代码或将工作外包给分析库。还可以根据请求将收集的统计数据（例如，用户人口统计数据）发送给广告提供商，以便跨应用程序进行移动用户简档分析。广告提供商甚至可以使用寄生广告库来跟踪用户并通过Android API调用[27]，[29]，[33]或他们自己的API调用[40]获取个人详细信息。与仅帮助应用开发者投放广告的广告库相比，分析服务（例如，GoogleAnalytics和Flurry [35]）与第一方和第三方打交道，以收集用户的各种信息以改善用户体验。这两种服务（称为A＆A服务）通常协同工作，从移动流量中检索包含用户位置数据或应用程序名称[95]的信息。

移动跟踪使用在A&A流量[96]中找到的其他向量（例如，cookie，系统ID，设备ID，SIM卡ID和MAC地址）。由于其中许多被认为是持久性ID [29]，[85]，移动跟踪也可能有助于发现移动应用使用模式。例如，Xu等人[97]调查二级蜂窝网络跟踪，发现天气和新闻应用程序在早上达到峰值，而体育应用程序在傍晚达到峰值。他们还观察到应用程序使用率在中午最低。由于广告流量主要是HTTP，因此不同广告网络分配的唯一标识符不仅可用于识别用户，还可用于指纹应用[38]。例如，Jumptap和Mobclix以明文形式发送Android ID，以便跟踪器可以轻松关联特定用户的请求[29]。此外，NetworkProfiler[31]使用DroidDriver和FingerprintExtractor从Android应用程序中提取网络指纹。DroidDriver能够模拟Android应用程序并收集其网络跟踪。如果存在第一方和第三方流量，则可以从主机名和广告标识符生成指纹。否则，DroidDriver可以使用UI模糊来生成探索所有执行路径的事件。FingerprintExtractor解析HTTP流并将其与从其他应用程序中提取的唯一且持久的标识符进行比较。通过使用NetworkProfiler，研究人员成功地从一个从蜂窝网络开始的两小时内获得的数据集中识别出306个应用程序[31]。

与在线跟踪研究不同，研究界刚刚提出了对移动跟踪的担忧。Grace等人[27]将A&A图书馆作为一个整体，其他研究提出更具有专向性的分析。例如，Applog[85]是从类似TaintDroid的系统运行时和Android应用程序跟踪系统实现的，用于向服务器发送分析信息。因此，它雇用了20名参与者来获取跟踪统计数据。从统计数据中可以看出，网络cookie，Android ID和IMEI是数据集中使用最多的。在分析A＆A统计数据时，作者还发现标识符通常以明文形式发送。除了移动应用程序跟踪，其他研究还包括移动网络跟踪。一个例子包括使用Eubank等[98]的基于FourthParty的移动网络隐私测量工具来测量五个不同移动设备上Alexa 500强网站的动态网页内容。这些设备都是真实的和模拟的，并包括PC控制器。他们的实验表明，移动设备上的Cookie和/或JavaScript调用次数少于桌面式，并且只能找到少数特定于移动设备的第三方跟踪域。具体来说，作者发现了一种不断增长的cookie，这是一种第三方cookie，在某些移动设备上，在浏览网站时反复遭遇，其规模逐渐增大。除了移动应用程序跟踪之外，基于位置的服务LBS（例如位置共享）也可以在Foursquare等应用程序中找到，并用于向其他人宣布用户的位置。因此，此类服务可能间接为当地企业做广告[99]。如果用户经常共享他们经常访问的餐馆和其他场所的名称和位置，则尤其如此[100]。

SECTION 5

Privacy

在数字广告中，用户隐私空间正在受到侵犯。在许多情况下，用户不确定他们在访问网页或使用移动应用时究竟会放弃什么样的隐私。有些公司甚至专注于贩卖从用户那里获得的个人信息。此信息可用于营销或研究，但也可能用于其他恶意目的。后一个原因促使研究人员探索在线和移动环境中保护用户隐私的新方法。表X和表XI提供了与用于在线和移动广告隐私保护的一些当前产品相关联的特征的概述。

1.在线环境

对有隐私关切的个人，互联网是一个极具挑战性的环境。以用户收到cookie后的cookie流失现象为例，即用户在后续访问期间阻止cookie。Yen等人[91]显示，88％的这些cookie仍然能够被跟踪。由于各个部门的隐私问题和对用户隐私的威胁，行业继续推进隐私和安全工作。根据谷歌文字广告[84]的一项研究，附加组件（即Ghostery和TACO）和选择退出工具（即NAI和DAA）可用于删除或减少OBA。此外，用户还可以通过Google广告设置访问和修改其广告偏好设置。但是，这些努力仍然不足（例如，Google不会使用HTTPS投放广告），并且很容易绕过这些限制。

许多IT公司也需要更严格的隐私保护。对于像谷歌和Facebook这样的知名IT公司[110]尤其如此。两者都扮演广告网络和出版商的双重角色，以便最大限度地收益于他们的广告效果[43]，从而拥有影响整个生态系统的最大潜力。例如，Google赞助广告在所有发布商中占80％，而Facebook的广告在所有发布商中占23％（占发布商排名前10％的85％）[43]。他们使用广告的方法也各不相同。例如，GoogleAdSense使用MediaBot抓取关键字的网页，并使用它们来提供与内容相关的广告[12]。相比之下，Facebook允许广告商根据用户发布的各种因素（例如，年龄，性别，地点，性取向，用户人口统计和兴趣）创建精细度，有针对性的广告，其中年龄和性别是最重要的[60]，[83]。但是，这两种广告系统都可能存在缺陷。Castelluccia等[111]观察到，通过Google展示广告网络，任何攻击者都可以通过少量定位广告来推断Google用户的兴趣类别。他们的结果显示79％的推断类别被正确重建，并且58％的原始类别被成功检索。同样，Korolova[60]解释说，通过Facebook，任何广告主都可以使用CPM广告推断用户发布的私人信息，甚至可以使用CPC广告推断未发布的隐私信息。尽管Facebook通过最小的广告系列覆盖率策略进行了努力，将最低目标阈值设置为20人，以防止攻击者针对特定的个人，但研究人员指出，如果攻击者创建了20个具有类似目标属性的Facebook帐户，这些努力就会被规避。

除了上述努力之外，研究界还开发了多种用户隐私保护解决方案。在这些解决方案中，ObliviAd[101]是一种硬件实现，它在广告网络侧存储敏感数据，使用安全协处理器通过加密连接以不经意的RAM（ORAM）协议进行所有广告选择，并以累积代币token的向广告商收费。相比之下，Bilenko和Richardson[67]选择了一种方式，能够呈现个性化搜索广告的实现，同时将用户行为历史保留在用户端。使用此系统，新呈现的搜索广告与客户端配置文件中最近使用的关键字匹配，仅客户端配置文件在服务器端使用L-BFGS逻辑回归进行更新，展示和点击匹配广告的概率变得可预测。同样在非跟踪广告系统中，要隔离导致CTR的最重要因素变得越困难。因此，OBA模型中的预期收入通常是不精确的。由此，Reznichenko等人[102]在需要用户个人资料的广告竞价中寻求平衡用户隐私，当它应用于广告排名时。他们的设计包括Rank-at-Client（RaC）和Rank-at-3rd-Party（Ra3），它们提供更简单，更有效的方法来对抗广告经纪人难以察觉的作弊行为。寻求将隐私保护与在线广告相结合的研究人员也在推出各种附加组件。例如，Privad[103][104][105]和Adnostic[106]都选择在本地对用户进行分析。通过Privad，经销商被引入广告网络和多个匿名用户，并通过加密渠道进一步掩盖广告服务和会计，以保护用户的匿名性。使用Adnostic，最合适的广告是从广告网络下载的一小组相应广告中获得的。然后，在CPM模型中使用印象计数器来计算和加密统计数据，以防止广告网络了解用户。另一个解决方案RePRIV[107]允许发布者挖掘用户兴趣和行为，但将私有信息存储在加密的公共存储库中。然后，可以与用户偏好对齐的方式将此数据发布到广告网络。社交附加组件或插件，如ShareMeNot[80]，Priv3 [108]和SafeButton [109]也正在实施。ShareMeNot和Priv3都会在加载按钮并允许选定符合用户意图的元素时有条件地删除第三方cookie。至于SafeButton，社交插件代理不仅在本地维护其私人数据，对于最多5K的Facebook好友不超过150MB，它还缓存可公开访问的数据（例如，页面的“喜欢”的总数）选择）。令人惊讶的是，使用SafeButton呈现组合内容的渲染时间甚至比原始Facebook版本[109]更快。

2.移动环境MobileEnvironment

为了提供更具针对性的广告并进一步最大化广告收入，包括应用开发者和广告网络在内的多方通过跟踪贪婪地收集用户隐私。例如，People Hub是WindowsPhone的一项独特功能，它集成了多种社交网络功能，可能会直接暴露用户信息[117]。此外，当广告库捆绑在应用程序中并与唯一且持久的标识符共同行动时，用户隐私很容易泄露并上传到远程服务器。此外，由于缺乏安全协议（如HTTPS），因为担心加密会产生额外开销，因此用户隐私很容易受到损害[29]。即使像Facebook forAndroid这样的知名应用也允许22％的流量未加密[76]。

另一个数据集[96]由超过107K的近1.2K应用程序包组成，它使用基于HTTP数据包或两个数据包之间的目标距离的分层聚类来形成树形图。目标距离是使用目标IP地址，端口号和主机域以及根据HTTP标头的请求行，cookie和消息正文字段计算的内容距离计算的。使用此信息，通过聚类结果生成一组结合签名，以便检测94％的数据泄漏，同时将误报限制为小于3％。

由于移动设备经常由用户持有并用于呼叫，消息传递，浏览和其他日常活动，因此维护隐私对于用户和研究人员都非常重要。揭示移动广告隐私危险的第一次尝试源于对第三方应用程序的大规模研究调查。我们简要地说明了一些这样的研究。通过使用100K Android应用程序，Grace等人[27]隔离了100个广告库，占整个应用集的52.1％。在另一项研究中，史蒂文斯等人[29]在前500个Android应用中找到13个热门广告库。另外，Book等人[33]调查了GooglePlay中114个免费应用的66个广告库名称和版本，后来调查了103个广告库中的前20个[40]。调查结果还表明，并不总是遵循最小权限原则，因为一些主机应用程序会请求广告库单独使用的其他权限[119]。此外，研究人员通过各种方法揭示了不同广告库的行为。例如，AdRisk[27]静态分析与76种不同权限相关联的API，并优化广告库使用的14种危险API，以确定从危险API调用的入口点到外部接收器的路径。在类似的努力[29]中，Stowaway[16]用于将权限分为三类：1）必需，2）可选和3）无证书。Book等人33]也使用PScout[17]为这项研究做出贡献，构建了一个时间图，描述了各种广告库使用权限的变化。除了Android中的危险API调用及其权限之外，Book和Wallach [40]确定了11个使用隐私泄露API的广告库，这些API允许主机应用程序传输人口统计数据。

移动广告中的调查结果或多或少与主机应用程序请求的权限相关。Leontiadis等[73]重点介绍Android中免费和付费应用之间的一些差异。例如，10％的免费应用程序和40％的付费应用程序在没有权限的情况下运行；但是，7％的免费应用程序和1.8％的付费应用程序需要10个以上的权限。此外，73％的免费应用程序和41％的付费应用程序至少要求一个危险许可。免费应用程序在大多数类别中占主导地位，除了两个（即“个性化”和“书籍与参考”）。此外，平均而言，免费应用程序请求的权限比同一类别中的付费应用程序多2-3个。对SlideMe应用程序商店中超过1.8K应用程序的研究表明，73％的应用程序拥有广告库专用的权限[117]。此外，Khan等人[95]表明，用户花费超过60％时间的最常用的应用程序（即SNS和IM应用程序）没有广告。另一方面，广告库请求权限，广告网络所需的平均权限平均为3.3 [33]。一些研究工作[29]，[33]，[39]，[73]，[117]提供了广告库中使用的3-10个核心权限的列表。这些权限显示在表XII中。此列表表明INTERNET不是唯一的强制许可，并且ACCESS_NETWORK_STATE和READ_PHONE_STATE权限在70％以上的广告库中得到广泛使用。这些权限的使用也显示出稳步增长。此外，其他研究[29]，[33]，[73]，[114]确定了一些危险的权限，导致安装过程中弹出警告，如表XII所示。巧合的是，大多数这些危险权限与12个最滥用的权限[120]重叠，如表XIII所示。一般来说，这些应用程序遵循双模式分发，其中最受欢迎的应用程序和最不受欢迎的应用程序将用户隐私交给广告库[40]。对于广告库，每个应用通常会嵌入多个广告网络-平均每个应用为6.97个广告网络[34]。AdMob是一个占主导地位的移动广告库，它甚至要求开发人员明确包含用户的GPS坐标[29]。MobClix是另一种流行的广告交换网络，由于其对15种权限的贪婪需求，包括用户的联系人列表，媒体库，日历，相机，电子邮件，GPS和SMS [33]，因此在研究中经常讨论。它还需要IMEI和位置信息[114]，它允许其广告商访问其他功能[27]，其中包括一个暴露其他漏洞的WebView对象的JavaScript接口[29]。AdMob和MobClix只是两个主要的例子。其他广告服务也可以在类似的讨论中找到。

鉴于主机应用程序及其广告库共享具有相同权限的相同视图，研究人员还在探索涉及权限分离的对策，以便在内部限制广告库。一项建议是使用INTERNET.ADVERTISING（* .admob.com）更细粒度的许可来取代INTERNET许可，以便从AdMob域[121]获取广告。另一项工作提出了一个隐私控制循环，通过在ACCESS_ADVERTISEMENT_SERVICE中使用用户定义的权限来分离主机应用程序和广告库，从而协调用户和开发人员之间的兴趣[73]。过程和/或特权分离以三种不同的方式实现。首先，我们考虑AdDroid[112]如何将广告服务集成到Android系统中。AdDroid为应用程序开发人员提供公共库API和两个相应的广告权限（即ADVERTISING和LOCATION_ADVERTISING），并使用IPC调用来处理广告请求。当系统服务收到AdDroid API发出的fetchAd IPC调用时，它会与正确的广告网络建立连接以获取数据，并等待后续IPC调用以检索广告。接下来我们注意到AdSplit [39]将主机应用及其广告分成两个重叠的活动，允许用户通过应用活动中的透明区域查看广告。AdSplit还利用QUIRE的加密机制[18]来检测点击欺诈。对于这两个应用程序，需要存根库以通过标准Android IPC调用与广告活动进行通信。最后，AFrame [113]是一个独立的广告，显示与主要活动共享同一屏幕的活动，以便现有的广告库仍可使用而无需任何修改。此外，AFrame使用独立的图形缓冲区来强制显示隔离，并修改InputManager以实现输入隔离。

除了在应用程序内部的努力之外，其他解决方案试图阻止私有数据被发送到远程服务器。在认识到110个流行和免费的Android应用程序向A&A服务器发送位置和IMEI后，Hornyack等人[114]实现AppFence，它包含两个用于隐私控制的主要功能-数据隐藏和渗透阻塞。虽然前者通过发送操纵数据或空数据集隐蔽地替代敏感信息，但后者依靠TaintDroid[21]，通过隐蔽地丢弃缓冲数据或公开模拟飞行模式状态来防止私人数据被发送出设备。但是，由于移动应用用户可能只关注加载网页时正在呈现的广告[12]，因此用户更关注个性化广告。对于只在每个应用上花费几秒钟的不耐烦的用户来说尤其如此。因此，广告定位以及隐私保护和其他因素（如开销）也很重要。

事实上，移动应用中的内容相关广告既可行又具有挑战性。在使用UI自动化工具表征前1200个Windows Phone应用程序的内容之后，Nath等人[12]显示，超过85％的移动应用程序页面产生的关键字比元数据（名称，类别和描述）更多。其中，超过一半的应用程序每次动态显示不同的内容。因此，为了实现上下文广告，有必要在运行时提取关键字。除了由客户端库和服务器组成的框架之外，SmartAds[12]还通过使用紧凑布隆过滤器和散列函数来提高效率和隐私。bloom过滤器在客户端存储大约1MB的最常用关键字，并覆盖90％的广告。此外，三个月后，此覆盖率仍然超过85％。通过仅发送所有关键字的哈希值，客户端确保广告服务器只能学习客户端提供的关键字。最后，对5K项广告展示的调查显示，SmartAds将上下文相关的结果加倍。

最常用的定位策略与用户隐私密切相关，而非应用内容。但是，这种策略并不一定会牺牲隐私来改善广告个性化[118]。继承在线广告中使用的启发式方法，问题权衡的解决方案可以分为两类：[37]，[115]，[116]中间人或去中间人[73]，[117]，[118]。MobiAd [37]提出了一种架构，通过使用移动代理在本地分析和维护个人数据，缓存相关广告，以及在路径的多跳中使用延迟容忍网络协议来保护隐私，从而为本地广告提供服务。其他解决方案[115]涉及每个代理人携带具有匹配估计器的广告。然后，匹配估算器通过使用其对本地存储的用户配置文件的访问权来决定呈现广告。MASTAds [116]使用广告管理服务器将具有联系人图表的设备分组到不同的社区，并根据每个社区的兴趣预取相关广告集。另一项提案包括市场意识的隐私控制模型，允许用户将私人信息单独发送给开发者和广告网络，以平衡发送到广告网络的私人信息流以获得收入[73]。此外，MoRePriv[117]使用个人偏好矿工来解析和分类不同的信号（例如，Facebook，Twitter，SMS，电子邮件和HTTP流量）为多个角色。然后，它使用基于服务器的个性化功能，在应用程序中使用粗粒度配置文件替换私人信息。最后，Hardt和Nath [118]开发了一个框架，允许移动设备从服务器发送的一组广告中选择最相关的广告。此选择基于大量用户群的估计点击率。

SECTION 6

Security

1.在线广告中的恶意广告Malvertisingin Online Advertising

2009年，“纽约时报”遭到恶意广告相关活动的攻击，这些活动被称为恶意广告[122]。这些活动可以由生态系统内的任何一方（即发布者，广告商，广告网络甚至用户）触发。如果使用广告联盟时，则尤其如此。广告辛迪加syndication通过将广告展示从一个合作伙伴转移到另一个合作伙伴来链接生态系统中的合作伙伴，以便最终形成多条广告投放路径，从而使恶意广告问题永久化。不幸的是，超过75％的恶意软件托管登陆页面使用了多级广告联合[123]。此外，广告联合的商业模型使得恶意广告的发生率难于探查地较低，由于联合广告绕过由大型且信誉良好的广告网络执行的检查。在研究了Alexa 90K顶级网站内展示广告的重定向链之后，Li等人[124]识别这些恶意节点的群集性质。根据他们的发现，他们实施了基于拓扑的检测系统MadTracer，以使用现有和新学习的规则来检测恶意广告活动。MadTracer对实际恶意广告活动的检测率比Google安全浏览和Microsoft Forefront的准确率高15倍。此外，他们发现超过1%的网站已被利用来提供恶意内容[124]。Mavrommatis等[123]还指出，谷歌近1%的搜索结果是恶意的。

诈骗使用虚假的反病毒或彩票网络钓鱼来诱使人们泄露敏感信息（例如，用户名，密码和银行帐号）。

偷渡式下载Drive-byDownloads利用浏览器或插件中的JavaScript或Flash动态内容的漏洞。

点击欺诈行为会出现在，当脚本、程序或人员伪装成合法用户点击广告时。

恶意广告网络可能会实施一项或多项恶意活动；但是，欺诈和偷渡式下载往往会发生在恶意广告客户靠近服务器的位置，而点击欺诈则发生在靠近客户端的位置，从而产生非法点击并为发布商带来收入。

偷渡式下载是最常见的恶意广告类型[125]，[126]。从66B URL的存储库，Mavrommatis等[123]构建了一个恶意软件分发基础架构，其具有超过180K数量登陆页面和9K相关的恶意软件分发站点。他们进一步发现，第三方广告是偷渡式下载的主要原因。当用户点击看似无害的广告时，点击的窗口可能声称用户同意非预期的下载和自动安装。但是，由于恶意内容通常托管在原始域以外的域上，因此可以通过实施同源策略（SOP）来实现对此类攻击的保护。SOP要求Web浏览器仅加载来自同一源的脚本和数据，这些脚本和数据是通过协议类型，主机名和端口号的组合定义的。否则，访问被拒绝。此外，与偷渡式下载相比，欺骗性下载也是如此。在这些攻击中，攻击者试图欺骗用户自愿下载非预期的软件[126]。

HTML5 / CSS3 / JavaScript和Flash是在线广告和偷渡式下载中常用的一些工具集。虽然AdJail [127]和AdSentry [125]专注于阻止恶意JavaScript广告，但OdoSwiff [128]专注于Flash广告。AdJail强制SOP阻止Web内容和广告之间的相互访问。它还将广告脚本重新定位到隐藏且隔离的阴影页面，并将镜像的广告内容隧道化为真实的网页，以便显示广告并与其进行互动。AdSentry沙箱并在虚拟文档对象模型（DOM）[125]中执行与广告相关的JavaScript内容。至于OdoSwiff，静态分析用于检测两种特定技术，即1）混淆和2）格式错误的Flash文件，用于恶意Flash广告。此外，OdoSwiff可以采用动态分析来通过执行跟踪（即，动作和方法，网络活动，引用的URL和对环境的访问）来识别异常行为[128]。

对于点击欺诈，可以在CPC广告模型中找到广告网络和发布商从非法点击中获益的结果。对于每次广告点击，资金从广告客户直接流向广告网络，最终流向广告发布商。截至2012年，大约10-25％的点击欺诈仍然无法察觉[129]。这些行动对生态系统极为有害。举个例子，让我们考虑一下FBI的Operation Ghost Click [130]。虽然网络犯罪分子在历史上占据了最大的网络犯罪率，但在四年的时间里仍然能够提取近1400万美元。仍然，点击欺诈以三种方式之一发生：1）使用点击机器人，2）欺骗用户点击广告（例如，停放的域货币化），以及3）支付人类答题器。这三种方式共享一个共同特征：点击欺诈者获得的投资回报率ROI高于合法出版商。见表XIV。

有许多科学论文进一步描述了点击欺诈的性质（例如，恶意软件[132]，C＆C [133]，DNS劫持[130]，域名抢注[134]，Madefor AdSense [135]和个人资料污染[136] ]）。通常，点击欺诈行为可能会留下一些线索（例如，没有鼠标活动，没有子页面访问，没有链接访问，以及不同的浏览器分发）[41]。然而，对于新兴的僵尸网络，如TDL-4，Vacha等[129]演示了他们的技术如何能够避免当前的检测机制，包括每天每个IP地址点击一次，基于用户操作和使用真实浏览器的要求。如今，点击欺诈可以由其他恶意软件发起（例如，Happili [132]）。此类恶意软件还包括clickbots，以及Miller等[133]研究了两个这样的点击机器人（Fiesta和7cy）以及预先录制的命令和控制（C&C）数据集以及一个自制的C&C服务器，它可以捕获出站点击机器人流。在Fiesta中，三个CPC组件（广告服务器，搜索引擎和点击服务器）与广告网络进行互动。但是，7cy模仿了不同地点和时间的人类浏览行为。其他研究显示，广告欺诈活动会改变DNS解析，以劫持广告展示次数和点击次数[130]。虽然广告注入者在CPM模型中用攻击者拥有的广告替换合法发布者提供的广告，但CPC模型中使用搜索劫持（或链接劫持[126]，[137]）技术。欺诈也可以通过其他欺骗技术启动。在抓取超过285,000个域名抢注域后，Moore和Edelman [134]发现，80％的此类网站都使用CPC广告获利，这正确拼写了被模仿的域名。根据针对Made for AdSense（MFA）[135]的一项研究，欺诈者还利用流行词来构建他们的MFA网站，因此用户可以通过高级搜索结果轻松地吸引他们的网站。最后，Meng等人[136]将个人资料污染者的概念作为额外的欺诈机制引入。它们展示了利用短期浏览历史记录的发布商如何显着影响广告的再营销和行为定位机制，并更改用户收到的广告类型。在此过程中，污染者可能会将重复营销的广告展示次数中的74％和行为广告展示次数的偏差提高12％，而欺诈性发布商的收入则会增加33％。

为了抵御上述技术，已经实施了若干测量和检测机制以最小化生态系统中的点击欺诈。对于广告商，Dave等人[129]利用贝叶斯框架独立测量点击欺诈率。在对十大主要广告网络和四种广告进行大规模测量后，这些研究人员发现点击欺诈率类似于基于预定义用户行为的贝叶斯方程。对于广告网络，对策可以是被动的，也可以是主动的。例如，Bluff Ads [131]可以用来主动测试单个广告点击的合法性，它们是具有不相关显示文本或相反的目标广告。相比之下，Stone-Gross等人[8]构建一个异常检测模型，其中包含与cookie和IP地址相关的功能。如果可疑请求数和总请求数之间的分数超过阈值，则他们的模型会识别欺诈性发布者。此外，Dave等人利用HTTP请求中的图形聚类功能来检测“重度点击”群集，并发现七项点击欺诈攻击。此外，ViceROI[4]的实施基于以下事实：合法点击遵循每个用户的预期日志收入范围，而欺诈性点击则落入异常区域。整体而言，ViceROI检测到六种不同类型的点击欺诈。

2.移动广告中的渎职与违法Malfeasancein Mobile Advertising

移动生态系统的多样性使用户难以在手持设备上保护自己。在Vidas等人的工作中[138]，调查Android中不同的攻击媒介和对策。同样，费尔特等人[139]使用移动恶意软件样本来评估数据检测技术并分析激励。此外，免费应用程序更具侵入性，因为Android中60％的免费应用程序需要Internet连接，而付费应用程序需要30％[73]。权限研究只是一种检测技术，我们将在下面强调。之后，我们详细讨论了两种激励措施：入侵广告和广告点击欺诈。

通常，原始设备制造商OEM不向移动用户授予root访问权限。因此，每个应用程序的功能都受其权限的限制。由于不同的应用程序具有不同的功能，因此应用程序开发人员可能会请求不同的权限，而在开发了API调用和应用程序行为之间的映射知识库之后，Rosen等人[140]将此数据集与AppProfiler结合使用，静态分析来自移动用户的应用，并识别面向工作的应用（例如，Dropbox和Google Docs）的行为。该研究确定面向工作的应用程序不如广告驱动的游戏和SNS应用程序易受影响。实际上，他们的行为与其相应的权限高度相关。不幸的是，这些权限可以由良性或恶意应用程序或代表捆绑的第三方库来执行，如表XII所示。随后，根据其他研究人员[33]，[141]，[114]，[142]，[73]，[117]，若干权限，如INTERNET，ACCESS_NETWORK_STATE，WAKE_LOCK，READ_PHONE_STATE，VIBRATE，ACCESS_FINE_STATE，ACCESS_WIFI_STATE，在大多数情况下通常要求。此外，其他权限，如GET_ACCOUNTS，RECORD_AUDIO，CAMERA，CHANGE_WIFI_STATE，是已知泄漏敏感信息，也用于广告库[33]，[114]，[140]，[73]。

但是，对于捆绑的广告库，恶意应用程序的行为与良性应用程序的行为略有不同[140]。例如，恶意应用程序密集使用一些特定权限（例如，READ_SMS，RECEIVE_BOOT_COMPLETED和CHANGE_WIFI_STATE），并贪婪地要求比良性应用程序更多的权限，范围在4到11之间[142]。虽然广告库的策略是收集更多信息，但主机应用可能会将其视为恶意软件。因此，应避免侵入性广告。我们在表XV中列出了与[142]中的应用内移动广告相关的安全威胁。

遗憾的是，广告库的其他不当行为可能会导致受支持的应用被标记为恶意软件。此处，恶意软件旨在表示具有恶意意图的移动威胁，而其他应用程序可能仅被归类为灰色软件，这仅仅是对用户的烦扰。例如，Apperhand SDK收集了大量用户信息并提供了不需要的通知广告和浏览器书签，被确定为“Android反诉”的“特洛伊木马”。另外，另一个使用DexClassLoader在运行时动态和远程加载不受信任的Java二进制文件的广告库Plankton被正确识别为侵入性广告恶意软件[27]，[36]，[142]，[144]。为了避免恶意软件，Android使用权限机制来获取用户的访问权限。此外，应用程序商店中的用户可以使用多种移动防病毒应用程序。同时，研究界继续在收集和检测恶意样本方面取得进展。例如，Zhou等人[142]从1200多个恶意软件样本中识别出大约50个恶意软件系列，而DroidRanger [144]使用不同的方案来识别已知和未知的恶意软件系列。在其他努力中，研究人员进行静态（例如[141]，[145]）或动态（例如[146]，[147]）分析或组合（例如[148]）分析以研究恶意软件。但是，恶意软件感染的案例目前很少。在研究了来自五个不同市场的超过204K Android应用程序后，Zhou等人[144]，观察官方和替代商店的感染率分别仅为0.02％和低于0.5％。此外，在分析了美国主要运营商的三个月DNS流量后，Lever等人。 [149]仅识别超过380M的3,492个受感染设备，少于观察到的设备的0.0009％。

在恶意广告Malvertising中，移动广告上的点击欺诈与网络广告一样受欢迎，如表十六所示。超过40％的移动点击是偶然的（例如，胖手指）或欺诈。因此，2013年，行业预测会因点击欺诈而损失近10亿美元（或移动广告预算的12％）[150]。此外，开发人员可能会操纵屏幕布局并将广告放置在导致嵌入广告上的真实用户无意中点击的区域中。然而，这种做法肯定违反了已知的政策。例如，在Microsoft Advertising中，开发人员不得“编辑，调整大小，修改，过滤，模糊，隐藏，透明或重新排序任何广告”。因此，DECAF[150]自动扫描应用程序的可视元素，并有效地检测基于Windows的移动平台的规则违规。除了展示位置欺诈之外，开发者还可以使用机器人或廉价劳动力点击广告。在许多情况下，在后台运行的移动应用程序还可以在没有用户交互的情况下呈现广告和点击广告。这些观察导致了Crussel等人开发MAdFraud[151]，一个能够模拟应用程序的系统，以识别潜在的欺诈行为。通过调查从Android市场抓取的130,000多个应用程序以及安全公司提供的大约35,000个应用程序，他们发现这些应用程序中有30％在后台运行时完成了广告请求（可能存在欺诈行为），其中27个产生了点击（可能是欺诈）[151]。由于这些发现和保护广告生态系统的需要，需要用户生成的点击验证。幸运的是，这方面的工作已经开始。除了将广告活动与主机应用程序分开以防止混乱的副攻击外，QUIRE [18]和AdSplit [39]在RPC中使用基于HMAC的签名来验证用户生成的点击事件。同时，其他研究通过实现利用系统中所有请求的安全用户界面来提供显示和输入完整性[152]，[153]。结果，保护植入的广告免于在信任组（例如，主机应用程序）上显示或点击。

SECTION 7

People
随着智能手机的使用成为人们的日常习惯，因此移动设备上的广告必须更多地考虑人为因素。同时，数字广告不再局限于互联网上的单个人。相反，他们的影响力扩展到通过社交网络连接的其他人。我们现在讨论这一新的增长趋势。

1.Human Factors
由于移动广告的最终目标是吸引客户点击呈现的链接，因此人为因素可以发挥重要作用。研究主要是人类参与调查，重点是各种因素的影响和重要性。有时，这些结果可能会颠覆传统观念。有几个这样的发现。例如，大多数广告网络都不考虑成熟度，因此移动广告可能会向儿童展示不适当的内容[34]。同样，当用户是未成年人时，点击可能无法准确反映用户意图[129]。此外，de Sa等人[155]揭示移动广告中的动画闪烁会降低用户满意度和广告效果。他们的工作还确定了用户相关性和内容相关性之间的内在联系。一方面，内容相关性会刺激广告回忆，但对用户体验却没什么影响。另一方面，用户相关性改善了用户体验，但对广告召回几乎没有影响。

其他研究侧重于用户信息共享。Egelman等[156]揭示调查参与者愿意通过在需要较少权限的应用上花费更多来保护个人隐私，但他们仍然会选择免费的广告支持应用，至少在所需权限超过其接受阈值之前。与科学文献中的一个传统假设不同，与位置相关的权限不被认为是高度负面的[85]，[157]，[158]。在Han等人完成的工作中[85]，调查参与者表示他们不介意被跟踪，但他们希望控制应用程序的设置。同样，Kelley等人[157]发现当允许访问其位置时，用户认为他们当前的位置和广告数量比一天中的时间和广告商品牌更重要。他们还发现，用户更有可能在周中分享他们的位置，在工作时间以及第二和第三次访问最多的地方，第一个访问量最大的地方被认为是他们的家。根据费尔特等人的说法[158]，用户将“与广告商共享信息”等同于中等风险。排名较高的风险与永久性数据或财务损失相关（例如，永久性地破坏您的手机），而低排名风险涉及可逆行为，如更改手机设置（例如，振动手机）或向服务器发送数据。

2.Social Networks

大多数网络原住民已经熟悉社交网络及其在数字生活的许多方面的普遍性。如今，许多网站包括视频，在线购物，政治评论等等，为用户提供了直接向他们的社交档案分享购买，查看或支持政治或其他原因的机会。Jung等人的调查结果。也表明这种同伴影响方法可能对所有类型的社交网络广告（SNA）的态度和可能的行为产生最显着的影响[159]。尽管如此，社交网络仍在不断寻找新的方式让广告客户更接近正确的受众，而社交媒体一直充斥着新的变化。

例如，Facebook在2014年收购Atlas广告平台可以实现跨平台广告，无论用户是否已登录Facebook系网络[160]。这意味着，当用户从一台设备转换到另一台设备（无论是智能手机，智能手表还是网络设备）时，数字广告已经弥补了与用户相关在线印象之间的差距。这项新技术使Facebook及其广告商也能够提供离线购买。

Twitter，另一个受欢迎的SNS，同样为广告客户引入了新的变化，允许他们制作与其目标一致的结算广告[161]。去年2014年，Instagram也将数字广告引入他们的平台[161]。至于今年2015年发生的情况，观察到以下趋势[161]：

多项产品广告，通过在一个位置描绘同一产品的三个产品或三个图像，为广告商提供更多的空间；

视频广告在2014年增长了43％，用户一个季度观看了超过382亿的视频（其中60％的视频是在智能手机上观看的）[162]；

本地宣传广告以及对社交本地移动SOLOMO的关注展示了广告客户经纪人寻求开发更符合人口统计数据的广告客户产品群体的新进展；

社交广告的多样化将为社交广告生态系统带来新的参与者，如Instagram，Tumbir和Pinterest。这些新条目甚至可以推翻社交网站上常见的明显促销帖子，转而采用更多讲故事类型的广告。

AudienceNetwork和Atlas允许Facebook在其应用程序之外移动到第三方应用程序，同时仍然保持其平台固有的目标功能。随着Atlas的加入，Facebook能够将这些应用中的定向广告扩展到网站。因此，社交网络正在从基于cookie的广告转向跨平台解决方案，该解决方案与多个设备上的“真人”整合起来。

SECTION 8

Consumption

手持设备可以通过以下两种访问方式之一访问数据：蜂窝网络或Wi-Fi。因此，有两种充电模式：带宽和时间。除了访问和费用，智能手机还必须考虑功耗。Han等人[95]观察到20个用户中每个用户每天的平均数据消耗接近30MB，下载和上传。其中，44％经过蜂窝网络。同样，Falaki等人[163]建议在研究中考虑蜂窝网络和Wi-Fi以解释这两种访问方法。因此，在探索电池能量和蜂窝数据的消耗之前，我们将首先考虑每种接入方法的不同功率模式。

在3G蜂窝网络中，无线电接入网络（RAN）经由无线电资源控制（RRC）协议动态地将无线电资源分配给用户设备（UE）。这些分配会影响智能手机的带宽和能耗。另外，即使在相同的RAN类型中，不同的载波也可以设置不同的尾部时间（即，两个功率状态之间的延迟或不活动时间）。正如所料，不同的功率状态消耗功率不同。图4 [35]，[164]中提供了这些电源状态的示例。通常，3G网络定义三种功率模式：IDLE表示无连接，CELL_DCH（专用信道）处于具有高吞吐量和低延迟的最高功率状态，而CELL_FACH（前向接入信道）是用于减少模式切换等待时间的转换模式。

而4GLTE具有两个RRC状态，RRC_CONNECTED和RRC_IDLE，如图5所示。在RRC_CONNECTED状态，UE可以处于三种模式之一：连续接收，短不连续接收（DRX）和长DRX。当处于RRC_IDLE状态时，UE仅处于DRX模式[165]。

然而，根据[164]，由于其较短的往返时间（RTT），较弱的无线电功率和较短的尾部时间，Wi-Fi功率远低于蜂窝电源。[166]中描述的Wi-Fi功率模型使用四种状态：深度睡眠（10mW），轻度睡眠（120mW），空闲（400mW）和高（600mW）。通常，Wi-Fi接口定期以100ms的间隔接收信标，其中来自相关接入点的功率峰值为250mW。在深度睡眠中，接口没有通信。但是当数据包到达时，无线电立即转移到高状态。传输完成后，无线电将移至空闲状态。如果没有网络活动，从空闲到轻度睡眠的尾部时间是1秒。

移动设备仍然需要资源优化。与传统的功能手机不同，智能手机上的电池消耗非常快，而且过载overhead流量进一步加剧了这个问题。浪费可能超过200 J / hr，当应用程序处于活动状态时，广告流量占总过载overhead的87％以上，而当应用程序变为非活动状态时，分析流量占主导地位[77]。根据Pathak等人的说法[26]，经过测试的免费应用程序（例如，愤怒小鸟和国际象棋免费）只消耗了25-35％的能量。剩余的能量用于与广告相关的活动，例如广告下载，用户信息跟踪和更新以及无线电尾部时间。同样，Mohan等人的研究[167]发现移动广告消耗了超过65％的通信能量和23％的总消费（包括CPU，显示和通信）。相比之下，Wei等人[76]观察到免费应用程序中发生的系统调用比其付费应用程序多50％-100％，这可能导致性能降低和电池消耗增加。由于上述原因，Nicutar等人[168]专注于优化技术，例如让附近的用户使用无线链路（例如，WiFI或蓝牙）彼此共享其链接，其具有较短的范围并且需要较少的功率。Kibbutz[168]允许用户通过链路子集聚合其流量，以实现更低的能耗以及更短的RTT，并为用户提供公平性保证。

除能耗外，广告库的定期传输行为会聚合数据消耗。例如，欧洲蜂窝网络中大约1％的用户在广告流量上花费至少2 MB /天[35]。此行为每隔几秒刷新或重新下载图像，文本文件和JavaScript代码。同样，Qian等人[164]发现A&A流量利用了总蜂窝数据的约20%。通常，AdMob的刷新率在12到120秒之间，默认速率约为60秒[35]，[164]。对于InMobi，最小刷新率为20秒[35]，而MillennialMedia[35]和MobClix [164]每15秒刷新一次。由于3G蜂窝网络（如AT&T）的默认尾部时间可能需要17秒，因此这些短暂的间隔会阻止智能手机的无线电返回IDLE [164]。同样在4GLTE和Wi-Fi网络中，刷新率使智能手机的无线电难以休眠。

以下三个观察结果进一步加剧了上述问题[95]。第一个是重复提取相同的广告，前100个广告在50％的时间内呈现。极受欢迎的广告最多可在单个设备上下载82次。第二，目前大约37％的广告在24小时内继续提供服务，然后在接下来的一周内降至14％。第三，每个广告的中位数为15KB，只有一部分（中位数为5.8KB）包含广告特定组件，如广告HTML和图片。关于第三个观察，广告的剩余部分由冗余JavaScript组成。在实际的广告HTML代码内容中也发现了类似的冗余。另一项研究[169]发现，总HTTP流量的近20％是多余的。因此，他们的研究提出了一种预取技术，以减少移动广告的能源和数据消耗。

为了将功耗降低一半，AdCache [35]使用预取和缓存技术以及3G网络上的20秒刷新间隔来移动广告，如静态横幅，动画横幅和文字广告。同样，CAMEO [30]，[95]预测性地批量预取移动广告，同时使用廉价或免费连接来支持不同的广告选择模型。通过观察由10个国家/地区的AdMob发送的17K个独特广告组成的1.8M项广告，CAMEO显示其可以达到84％的准确率。此外，当展示100个广告时，CAMEO能够将能耗显着降低25-37倍，带宽显着降低4.8倍。

然而，由于广告活动的限制（例如，预算和持续时间），预取技术还必须确保SLA合规性并避免收入损失。因此，在评估了前15个广告支持的Windows Phone应用程序的移动广告的能源开销之后，Mohan等人[167]实现app使用预测和超额预订的机制，以建模和优化预取，能耗，SLA违规和收入损失之间的关系。在研究了两个数据集中包含的用户过去行为后，研究人员观察了两个结果。首先，对于服务截止日期恰好在30分钟内到期的移动广告，使用统计预测器（即第80百分位模型）以及20分钟的预测间隔将能耗降低一半，同时将SLA违规降低至少于3％。其次，当截止日期更长时，15分钟的预测间隔足以满足SLA。此外，后台流量允许在此间隔内消耗更少的能量。第三，当截止日期较短时，代理中使用的超额预订模型会减少SLA违规，但会增加收入损失。

SECTION 9

Discussion

我们现在解决基于网络的在线广告和应用内移动广告之间的一些相似点和不同点。我们还重点介绍了数字广告中学术界和行业的一些潜在趋势和方向。

1.Online Advertising vs.MobileAdvertising

基于网络的在线广告和应用内移动广告是数字广告的两种基本形式。然而，他们有许多区别。根据MobiAd [37]，差异包括较小的广告，较少的存储访问和较少的手持设备下载频率，以弥补较小的屏幕尺寸，较低的处理能力和较少的带宽。实际上，带宽和功率使用等因素在在线广告中并不那么重要。因此，它在网络广告研究中几乎没有受到关注。但在移动广告中，这些因素远非微不足道。实际上，带宽由连接决定。虽然在线广告通常在连接到Wi-Fi /以太网连接的计算机的Web浏览器上呈现，但我们研究的移动广告始终显示在连接到Wi-Fi / Cellular连接的移动设备上的应用程序中。因此，广告流量的流量不同。虽然广告网络在在线广告中使用客户端重定向，但在移动生态系统中使用服务器重定向来适应较慢的连接和有限的数据使用。因此，CDN在移动广告中也具有高度相关性[164]。由于这些设备通常由其所有者每日拥有，因此诸如隐私问题之类的人为因素在移动环境中具有更大的重要性。虽然对移动设备的权限进行了广泛的研究，但很少有人解决浏览器权限问题。例如，定位技术可能会提高在线广告的效率。在安全性方面，恶意广告（例如，偷渡式下载和点击欺诈）的情况经常出现在在线广告中，并且移动应用中的广告相关恶意软件的情况很少[149]。另一个区别与可访问性有关。一方面，由于在线广告必须符合SOP，因此广告网络无法访问网站上的数据。

同样，Web浏览器也与同一台计算机上的其他应用程序完全隔离。而且，虽然第三方网络跟踪可能会涵盖信息收集方面的短缺，但它也会引发隐私问题。另一方面，WebView6之外的移动广告目前不受Web浏览器提供的权限分离的约束。由于捆绑广告库与主机应用共享相同的权限集，因此广告网络可以在应用内共享用户信息。此外，对移动设备上的持久用户标识符（例如，IMEI，设备标识符和位置信息）的访问允许移动跟踪延伸超出单个应用的边界[114]，[145]。这些方法允许广告网络更好地定位其客户；然而，由Google AdSense开创的内容相关广告允许广告网络根据客户访问的网页抓取的内容定位客户。虽然抓取网页相对简单，但仍无法在运行时获取移动广告内容。因此，仍在寻求新的方法。与此同时，其他技术注定要褪色。大多数智能手机不支持Flash广告技术，因此移动广告开发者必须继续采用新技术，例如HTML5，如果他们要渲染媒体丰富的移动广告[170]。表XVII总结了我们目睹的差异。

2.对业界的潜在方向Potential Directions for Industry

行业正在积极全面地致力于改善移动用户的广告体验。由于富媒体广告的规模和实施方式各不相同[116]，因此IAB与主要广告网络合作，提供移动富媒体广告界面定义（MRAID）API，用于统一许多富媒体广告格式。与此同时，Apple和Google等公司也在努力在内部规范广告支持的应用。例如，自2013年5月1日起，App Store不再接受访问UDID的新应用或应用更新[171]。在类似的举动中，Google于2013年2月从Google Play中删除了超过60,000个应用程序[33]。这些低质量的应用程序通常包含需要大量权限的广告库[33]。以类似的方式，广告网络也在改变SDK来模糊应对于知识产权保护[23]。例如，Android正在删除ACCESS_FINE_LOCATION权限以及取消getLastKnownLocation API[33]。由于用户可能会对数字广告感到恼火，AdBlock Plus和其他替代品现在正在被广泛使用。因此，像谷歌这样的网络广告商已经开始向广告拦截器支付费用以获得它们许可其广告发布[172]。

由于Cameo[95]和MobiAd[37]等解决方案需要运营商参与，移动网络运营商可能会以超出其广告API的方式更多地参与广告生态系统。至于底层操作系统，Android的权限系统仍然需要进行大量更改。Google Play会在安装过程中将应用权限分组到相关权限组中，这些权限可能同时包含安全权限和危险权限[173]。Android的自动更新功能可能会使情况更糟，因为现有的应用程序可以在不通知用户的情况下添加新权限[173]。此类更改可为广告库提供更大的灵活性，并使广告客户能够更好地覆盖客户；但是，此类权限也存在争议和潜在的隐私侵犯。最后，Android也有可能为新应用程序采用iOS风格的权限系统[174]。如果是这样，我们设想将对广告网络形成较为激进的更迭。

3.对学界的潜在方向Potential Directions for Academia

我们探索了数字广告中的多个要点以及许多贡献，包括众多研究人员的技术和应用，以增强广告生态系统。我们还注意到，在线广告预取技术用于保护用户隐私。例如，Privad可能需要缓存近20MB的广告相关数据以供日常使用[30]。此外，在移动广告中，预取也可用于优化能量消耗。由于AdMob提供长达48小时的宽限期来获取报告，因此可以提供更大的灵活性来预取广告。用于保护用户隐私的另一种技术是权限分离。但是，广告提供商和应用开发商由于存在缩减广告收入的风险而对应用它感到犹豫不决。从2015年初开始，研究界开始研究移动广告中的广告定位[175]，[176]。

同样令人感兴趣的是新的和多样化的移动广告贡献。例如，AdNext [177]通过根据用户的行为历史预测下次访问，向用户提供高度相关的基于位置的广告。此外，AdTouch [178]支持基于QR码的登陆页面重定向。最后，通过整合应用内购买，应用内移动广告可以通过减少系统修改来使用户受益。
但是，用户隐私仍然会在未经同意和未加密传输的情况下进行跟踪。事实上，用户可能会因为被动接受角色而不喜欢广告，并随后推动其他改进。因此，如果允许用户仅通过在主动放弃私人数据的同时简单点击目标广告来进行应用内购买，则所有方（尤其是广告商和用户）将从这样的设计中受益。一方面，广告商将通过赞助广告满足用户需求；另一方面，用户将通过查看广告获得经济奖励。最后，在应用内购买使用安全通道将导致保护用户隐私免受窃听。

最后，作为移动广告的先驱，在线广告的研究已经进行了十多年。因此，研究界积累了大量的统计数据。涵盖在线广告和移动广告的相关性研究可以进一步有益于数字广告领域。

SECTION 10

Conclusion

数字广告现已大量集成到移动设备的许多方面。因此，将智能设备用于传统在线浏览和移动应用的人已成为数字广告生态系统中不可或缺的一部分。该生态系统还包括广告经纪人，发布者，广告主和恶意代理。因此，用户需要考虑使用他们的个人信息（他们为服务交易）以及他们的设备的功率和数据限制。此外，经纪人和发布商寻求确定如何在满足广告主需求的同时最好地将其工作货币化，而不会疏远其用户。广告主也有一种既得利益，可以为他们的产品定位合适的客户，以最大限度地提高他们的广告投资。这些目标在所有这些参与者之间建立了独特的关系。然而，这个生态系统也必须保持警惕，努力阻止那些试图以恶意为目的妥协这些关系的流氓代理人。

考虑到上述问题，本调查旨在揭示广告生态系统的众多层面，从广告成本和创收到隐私和恶意软件问题。我们还专注于移动设备上的应用内移动广告和在线浏览，因为这些活动代表了当今越来越多的用户。如前所述，现在有超过60％的视频在移动设备上观看。同样，超过62％的移动用户使用移动设备检查电子邮件和访问互联网，而99.5％的移动用户访问内容[179]。社交网络也推动了用户在移动应用和在线观看中与广告互动方式的许多变化。

为了进一步理解数字广告的复杂性，本文探讨了广告网络的背景和组成部分。其中一些包括广告客户，广告网络，发布商和用户关系，CPC目标，竞价和隐私保护。此外，恶意广告和相关保护措施仍然是研究人员面临的挑战。部分研究包括移动系统功能，移动操作系统和广告库的更好安全性。此外，继续探索功率和数据的独特限制，以减少不必要的网络流量，节省宝贵的移动电源，并减少移动用户不必要的财务支出。

同样重要的是移动设备的跟踪和分析限制，用于定向广告和用户保护。移动设备通常与其用户定位的事实导致更大的隐私问题。当然，这些问题会带来更高的安全要求-然后将解决这些问题的政策变更添加到广告生态系统中。为了提高安全性，需要更加关注应用程序权限和库捆绑包。同样，还需要向用户提供有关向移动应用程序开发人员授予哪些权限的更好通知。我们再次强调，Google Play中的大多数应用都要求用户给到3到15个权限。因此，需要更多选项给到用户，以备用户可以退回对其隐私提出如此多的要求。

由于广告网络也对用户愿意容忍的主题而感兴趣，因此上述问题与其商业模式具有相当的重要性。本文中讨论的多项调查为广告网络和发布商提供了建议。通过关注此类文献以及用户偏好和制定政策，广告网络可以进一步发展其业务模型和跟踪技术，以改善营销，安全和隐私保护。因此，研究人员（学术界和业界）必须继续发现有助于推动广告生态系统推动和拉动的新激励措施。因此，在衡量和利用用户兴趣的同时，控制权限，保护隐私和限制应用恶意软件的每一项进步都使我们更接近适当平衡的广告生态系统。

参考文献：

1.L. Goldberg, S.Silber, "At \$11.6billion in q1 2014 internet advertising revenues hitall-time first quarterhigh", Jun. 2014.

2.L. Goldberg, S.Silber, "Q3 2014internet advertising revenues hit \$12.4 billion making itthe highest quarteron record", Dec. 2014.

3.G. Dunn, Cyber-Securityand DataPrivacy Outlook and Review, 2013.

4.V. Dave, S. Guha, Y.Zhang, "ViceROI:Catching click-spam in search ad networks", Proc.ACM SIGSAC Conf.Comput. Commun. Secur., pp. 765-776, 2013.

5.Y. Wang, D.Burgener, A. Kuzmanovic, G.Maciá-Fernández,"Understanding the network and user-targeting propertiesof web advertisingnetworks", Proc. 31st Int. Conf. Distrib.Comput. Syst. (ICDCS),pp. 613-622, 2011.

6.S. Muthukrishnan,"Ad Exchanges:Research Issues" in Proc. Internet Netw. Econ., pp.1-12, 2009.

7. R. Gomes, V.Mirrokni, "Optimalrevenue-sharing double auctions with applications to adexchanges", Proc.23rd Int. Conf. World Wide Web, pp. 19-28,2014.

8.B. Stone-Gross, R.Stevens, A. Zarras, R.Kemmerer, C. Kruegel, G. Vigna, "Understandingfraudulent activities inonline ad exchanges", Proc. ACM SIGCOMMConf. Internet Meas. Conf.,pp. 279-294, 2011.

9.S. Angel, M.Walfish, "Verifiableauctions for online ad exchanges", Proc.ACM Conf. SIGCOMM(SIGCOMM13), pp. 195-206, 2013.

10.A. O. Insider, HowAd Serving Works,Aug. 2013

.……（略）

（以上内容除翻译文字权利属于译者外，其他所有权利属于论文作者及出版商IEEE，传播调查与指南，IEEE Communications Surveys& Tutorials，Volume:18 , Issue: 3 , thirdquarter 2016 ）

本译作注明了文章来源：https://ieeexplore.ieee.org/document/7390161

您也可从以下researchgate学术网址申请获取全文

pdfhttps://www.researchgate.net/publication/291951379_In-Depth_Survey_of_Digital_Advertising_Technologies