标签归档:谷歌

违反GDPR处罚力度有多大?

GDPR 的处罚力度之大在同类条例中堪称之最—— GDPR  规定对于违反其规定的,行为轻微的要罚款 1000 万欧元或全年营收的 2% (两者取最高值),行为严重的则要罚款 2000 万欧元或全年营收的 4% (两者取最高值)。

Learn2Compress的技术性能如何?

性能如何?为了展示 Learn2Compress 的有效性,谷歌研究者使用它构建多个图像和自然语言任务中当前最先进深度神经网络(如 MobileNet、NASNet、Inception、ProjectionNet)的紧凑设备内置模型。对于给定任务和数据集,谷歌生成多个不同推断速度和模型大小的设备内置模型。http://img.yuedusikao.com/1551955343736LYkx78C6et.jpg不同大小的 Learn2Compress 模型和全尺寸基线网络在 CIFAR-10(左)和 ImageNet(右)图像分类任务上的准确率。用于生成 CIFAR-10 和 ImageNet 压缩变量的学生网络分别使用 NASNet 和 MobileNet 的变体架构进行建模。对于图像分类,Learn2Compress 可以生成适用于移动端应用、具备较好预测准确率的小型快速模型。例如,在 ImageNet 任务上,Learn2Compress 模型的大小是 Inception v3 基线模型的 1/22、MobileNet v1 基线模型的 1/4,而准确率仅下降了 4.6-7%。在 CIFAR-10 上,使用共享参数联合训练多个 Learn2Compress 模型花费的时间仅比训练单个较大 Learn2Compress 模型多 10%,而获得的 3 个压缩模型大小是后者的 1/94,速度是后者的 27 倍,开销是后者的 1/36,且预测质量较好(90-95% 的 top-1 准确率)。http://img.yuedusikao.com/1551955366105vJeuxmKqHA.jpg基线模型和 Learn2Compress 模型在 CIFAR-10 图像分类任务上的计算成本和平均预测延迟(Pixel phone)。Learn2Compress 优化的模型使用类似 NASNet 的网络架构。

Learn2Compress有什么技术优势?

Learn2Compress 使用了多种神经网络优化和压缩技术,包括:修剪(pruning):通过删除对于预测结果影响最小的权重或运算(如得分低的权重)来缩小模型。该方法可以达到很好的效果,特别是对于涉及稀疏输入或输出的设备内置模型,这些模型可以被压缩到一半的大小,同时保留 97% 的原始预测质量。离散化(quantization):该技术在训练过程中特别有用,可以通过减少模型权重和激活值占用的位数提高推断速度。例如,使用 8 位定点表示法替代浮点数可以加速模型推断、减少能耗,并进一步将模型大小压缩到原来的 1/4。联合训练(joint training)和精炼(distillation):该方法使用老师-学生的学习策略,即使用较大的老师网络(该案例中是用户提供的 TensorFlow 模型)来训练一个紧凑的学生网络(设备内置模型),确保最小的准确率损失。http://img.yuedusikao.com/1551955323182BLrpPiz4n9.jpg使用联合训练和精炼方法学习紧凑的学生网络。老师网络可以被固定(正如在精炼过程中)或联合优化,甚至同时训练多个不同大小的学生网络。因此,Learn2Compress 可以单次生成多个设备内置模型而不是一个,这些模型的大小和推断速度互不相同,开发者可以在其中选取最适合应用需求的模型。这些方法以及迁移学习等技术让压缩过程更加高效,并可更好地扩展到大规模数据集上。

Learn2Compress的运行原理是什么?

Learn2Compress 是对 ProjectionNet 等之前论文中介绍的学习框架的概括,结合了几种最先进的压缩神经网络模型的技术。它将用户提供的大型预训练 TensorFlow 模型作为输入,执行训练和优化,然后自动生成规模较小、内存效率更高、功耗更低、推断速度更快且准确率损失最小的即用设备内置模型。http://img.yuedusikao.com/1551955320092etvYWGsVmk.jpgLearn2Compress 用于自动生成设备内置机器学习模型。

DuerOS有什么优势?

DuerOS在核心技术上主要做了三方面工作:听清。运用语音和声学技术在各种复杂环境中充分应用;听懂。利用自然语言理解、机器学习算法、海量知识图谱和大数据全面理解需求;内容。内容是赵鹏特别强调的部分,包括百度的爱奇艺视频内容,以及特别的儿童内容等。