本文介绍: 关于序列化和反序列化的定义，在这篇文章中有详细介绍，此处简要说明： 我们也可以借助下图来理解序列化和反序列化的过程。 Spark 提供了 2 个序列化库 (Java serialization 和 Kyro serialization)，此外用户也可以自定义实现序列化： 我们可以对比 Spark 使用了 Kyro Serialization 和 未使用 Kyro Serialization 时，他们的网络传输内容大小。 默认的序列化实现，只要用户的 class
一、前言
关于序列化和反序列化的定义，在这篇文章中有详细介绍，此处简要说明：
二、Spark 的序列化器
Spark 提供了 2 个序列化库 (Java serialization 和 Kyro serialization)，此外用户也可以自定义实现序列化：
- Java serialization (默认)：Java 序列化非常灵活，但通常相当缓慢，而且会导致许多类的序列化格式过大。
- Kryo serialization (推荐使用)：更快地序列化对象。Kryo 比 Java 序列化要快得多，也更紧凑（通常是 Java 序列化的 10 倍），但不支持所有可序列化类型，而且需要提前注册程序中使用的类，以便获得最佳性能。
- Custom Serializer
我们可以对比 Spark 使用了 Kyro Serialization 和 未使用
原文地址:https://blog.csdn.net/high2011/article/details/134785948
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_39296.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
