使用TensorFlow Serving部署Keras模型 阅读有关此项目的更多信息

伯特分类服务 介绍 使用训练分类模型并通过部署模型。 然后，我们可以使用REST API进行在线预测。 开始使用 整个实验基于Chnsenticorp数据集，该数据集是正面和负面情绪的两类数据集。 0.准备训练前模型 下载中文bert模型chinese_L-12_H-768_A-12 ，然后解压缩并移至models目录。 1.训练模型 sh fine-tuning.sh 2.进行预测和导出模型 我们需要将检查点更改为张量流服务的格式。 sh export-model.sh 然后， export-model的结构将为： . └── 1569141360 ├── saved_model.pb └── variables ├── variables.data-00000-of-00001 └── variables.index 3.部署模型

tensorflow serving部署单模型，多模型，热更新，BERT部署

简书文章中的材料： 欢迎在简书上

习惯上，一般是使用TensorFlow进行模型的训练、验证和预测，但模型完善之后的生产上线流程各式各样，不方便使用。针对这种情况本文介绍了TensorFlow Servering，可以将训练好的模型直接上线并提供服务。

Flask Web框架托管的TensorFlow Serving客户端 这是我的的扩展。 它引入了一个托管TensorFlow服务客户端的Flask Web服务器。 它接收REST请求以预测，将其转换为protobufs，然后通过gRPC发送到TensorFlow服务器以通过GAN模型进行预测。 提到的GAN模型是使用技术并以课程中教授的模型为 训练的。 原始的Jupyter Notebook可在。 有关该项目的更多详细信息，请参见我的。

TensorFlow serving部署.涉及几个命令，很方便，大家可以快速尝试一下，把模型快速部署，对外提供RestFul API服务

Introduction 本项目主要对原tensorflow-yolov3版本做了许多细节上的改进, 增加了TensorFlow-Serving工程部署, 训练了多个数据集，包括Visdrone2019, 安全帽等, 安全帽mAP在98%左右, 推理速度1080上608的尺寸大概25fps. 此项目步骤十分详细，特别适合新手入门serving端部署，有什么问题可以提issues, 如果觉得好用记得star一下哦，谢谢！下面是改进细节: 1. 修改了网络结构，支持了tensorflow-serving部署,自己训练的数据集也可以在线部署, 并给出了 docker+python_client测试脚本, 支持HTTP跟GRPC协议[ 0325 新增 ] 2. 修改了ulits文件，优化了demo展示,可以支持中文展示,添加了支持显示成中文的字体 3. 详细的中文注释,代码更加易读,添加了数据敏感

mac下安装tensorflow serving步骤及踩的坑-附件资源

tensorflow/serving模型部署PDF