主要功能改进
tf.distribution通过tf.distribution.experimental.ParameterServerStrategyAPI 引入了对 Keras 模型异步训练实验性支持。更多细节请参见下文。MultiWorkerMirroredStrategy不再是一个实验性 API，现在已进入稳定版本。针对命令执行失败和其他错误进行了修复。请查看具体教程，了解如何 使用 Keras 进行多任务并行训练。- 对
tf.experimental.numpy的新模块进行了实验性支持，此 API 不仅与 NumPy 兼容，更便于编写 TF 程序，可参阅 详细指南 了解更多信息，更多细节请参见下文。 - 针对 Ampere 架构的 GPU 添加了 TensorFlow-32（简称TF32） 的支持，这是一种基于 Nvidia Ampere 的GPU模式，默认情况下将启用。
- Keras Functional API 的内部重构已经完成，这次重构提高了构建 Functional 模型的可靠性、稳定性和性能。
- Keras 混合精度训练的 API
tf.keras.mixed_precision已稳定，不再为实验性支持。这允许在训练过程中使用 16 位浮点数格式，在 GPU 上的性能提升高达 3 倍，在 TPU 的提升也高达 60 %。 - TF Profiler 现在支持使用 采样模式 API ，对多个工作进程进行性能分析。
- TFLite Profiler Android 版本现已推出。请参阅 指南 以了解更多信息。
- TensorFlow pip 安装包现已使用 CUDA11 和 cuDNN 8.0.2构建。
重大改进
TF Core
-
C-API 的字符串张量的字节布局已被更新，已与 TF Core/C++ 匹配，即
tensorflow::tstring/TF_TString的连续数组。 -
C-API 函数
TF_StringDecode、TF_StringEncode和TF_StringEncodedSize不再被使用，现已移除；关于 C 语言中的字符串访问/修改，请参见core/platform/ctstring.h。 -
tensorflow.python、tensorflow.core和tensorflow.compiler模块现在被隐藏。这些模块不再是 TensorFlow 可访问 API 的一部分。 -
tf.raw_ops.Max和tf.raw_ops.Min不再接受类型为tf.complex64或tf.complex128的输入，因为这些操作对于复杂类型的行为没有被明确定义。 -
由于使用了 TensorFloat-32，某些 float32 操作在基于 Ampere 架构的 GPU 上以较低的精度运行，包括乘法和卷积。具体来说，这类运算的输入从 23 位精度四舍五入到 10 位。这对于深度学习模型来说，在实践中不太会造成问题。但在某些情况下，TensorFloat-32 （单精度浮点数值）也被用于 complex64 操作。可以通过调用
config.experimental.enable_tensor_float_32_execution(False)来禁用 TensorFloat-32 。 -
默认情况下，XLA:CPU 和 XLA:GPU 设备不再注册。如果你真的需要它们，请使用
TF_XLA_FLAGS=--tf_xla_enable_xla_devices，但该标志位也将在后续版本中删除。
tf.keras:
-
compile()中的steps_per_execution参数已稳定，不再为实验性支持，如果您传递的是experimental_steps_per_execution，请在你的代码中重新命名为steps_per_execution。这个参数控制了在调用fit()时，每次调用tf.function时要运行的批次数量。在单次tf.function调用中运行多个批次可以极大地提高在 TPU 中或带有大量 Python 计算的小型模型的性能。 -
对 Keras Functional API 内部的重大重构可能会影响到以下代码：
-
在检查 Keras 符号输入/输出时，使用
isinstance(x, tf.Tensor)而不是tf.is_tensor的代码，应该改用tf.is_tensor。 -
过分依赖符号张量所附加的确切名称的代码（例如，假设输入的结尾为":0"，将名称作为唯一的标识符，而不是使用
tensor.ref()等）。 -
使用
get_concrete_function直接跟踪 Keras 符号输入的代码，应该改成直接构建匹配的tf.TensorSpecs并跟踪TensorSpec对象。 -
依赖于 TensorFlow 操作转换为操作层后所对应的确切数量和名称的代码，可能需要更改。
-
使用了
tf.map_fn/tf.cond/tf.while_loop/control flow 作为操作层的代码，且碰巧能在 TF 2.4 之前的版本工作的代码。现在将明确地不支持这些功能。在 TF 2.4 之前，将这些操作转换为 Functional API 操作层是不可靠的，而且容易出现难以理解或无法定位的错误。 -
直接对 Keras 符号值进行断言操作的代码，如
tf.rank这样可根据输入是静态值或符号值而返回对应的类型的操作，现在这些操作将统一返回符号值。 -
能够直接泄露张量到计算图以外的代码，在这个版本中将更易于导致泄露。
-
尝试直接计算 Keras 符号输入/输出的梯度的代码。现在可以使用 GradientTape ，来代替传递给已构建模型的实际张量。
-
需要通过转换后的操作层进行非常复杂的形状操作才能工作的代码。Keras 符号形状推理被证明是不够的。
-
试图手动逐层遍历
tf.keras.Model的代码。它假设层中只有一个位置参数。单这个假设在 TF 2.4 之前也不成立，新版本中更容易引起问题。 -
在构建模型之前需要手动输入
keras.backend.get_graph()的代码，现在已经不需要这么做了。 -
在调用 Functional API Keras 模型一开始便强制进行输入形状假释的代码。这可能对一些用户造成影响，如 在 Functional 模型中创建
Input对象时使用的形状与传递给该模型的数据的形状不匹配时。您可以通过使用正确形状的数据调用模型，或者通过放宽Input形状假设来解决不匹配的问题（您可以将 shape 属性设为None，将此作为轴（axis）以表示这是动态的），您也可以通过设置model.input_spec = None来完全禁止输入检查。
-
tf.data:
-
tf.data.experimental.service.DispatchServer现在采用配置元组而不是单个参数。用法更新为tf.data.experimental.service.DispatchServer(dispatcher_config)。 -
tf.data.experimental.service.WorkerServer现在采用配置元组，而不是单个参数。用法更新为tf.data.experimental.service.WorkerServer(worker_config)。
tf.distribute:
-
移除
tf.distribution.Strategy.experimental_make_numpy_dataset。请使用tf.data.Dataset.from_tensor_slices来代替。 -
将
tf.distribut.StrategyExtended.reduce_to、tf.distribut.StrategyExtended.batch_reduce_to、tf.distribut.ReplicaContext.all_reduce中的experimental_hints重命名为options。 -
将
tf.distribution.experimental.CollectiveHints重命名为tf.distribution.experimental.CommunicationOptions。 -
将
tf.distribution.experimental.CollectiveCommunication重命名为tf.distribution.experimental.CommunicationImplementation。 -
将
tf.distribut.Strategy.experimental_distribute_datasets_from_function重命名为distribute_datasets_from_function，因为它不仅支持实验环境。 -
删除了
tf.distribut.Strategy.experimental_run_v2方法，该方法在 TF 2.2 中已被废弃。
tf.lite:
- 引入了
tf.quantization.quantize_and_dequantize_v2，它更新了超过范围的量化的梯度定义。要模拟tf.quantization.quantize_and_dequantize(...)的 V1 行为，使用tf.grad_pass_through(tf.quantization.quantize_and_dequantize_v2)(...)。
