adf-adb-cicd-demo 适用于Data Factory和Databricks的Azure DevOps yaml管道的示例

dbfs_explorer DBFS浏览器 构建设置 # install dependencies npm install # serve with hot reload at localhost:9080 npm run dev # build electron application for production npm run build # lint all JS/Vue component files in `src/` npm run lint

Databricks，是属于 Spark 的商业化公司，由美国加州大学伯克利 AMP 实验室的 Spark 大数据处理系统多位创始人联合创立。Databricks 致力于提供基于 Spark 的云服务，可用于数据集成，数据管道等任务。 Databricks 公司的云解决方案由三部分组成：Databricks 平台、Spark 和 Databricks 工作区。该产品背后的理念是提供处理数据的单独空间，不受托管环境和 Hadoop 集群管理的影响，整个过程在云中完成。该产品有几个核心概念：由 Notebooks 提供一种与数据交互并构建图形的方法，当用户了解了显示数据的方式时，就可以开始构建主控面板以监视某些类型的数据。最后，用户可以通过该平台的任务启动器来规划 Apache Spark 的运行时间。

leetcode题库Bank_Marketing_Using_Pyspark_And_Using_Data_Science_Libraries。 在 Databricks 上使用 Pyspark 处理银行营销数据集，并使用 Python 在 Google Colab 上仅使用数据科学库。 关于存储库 该存储库包含 2 个文件 - 使用 Pyspark 实现的银行营销数据集和仅使用 Python 的数据科学库实现的其他文件。 在 Databricks 上使用 Pyspark - 此存储库包含与银行营销数据集相关的项目。 我已经应用逻辑回归、决策树和随机森林来比较算法在不同参数（如准确度、精度、召回率和许多其他参数）方面的比较。 还使用 5 折交叉验证进行了超参数调整，以评估与这些算法对应的模型并评估不同的参数。 在 Google Colab 上使用数据科学图书馆 - 总而言之，首先对数据进行清理和预处理。 然后我将不同的参数性能与目标变量进行了比较。 然后我应用了 6 种机器学习算法，比较了训练和测试的准确性，并为它绘制了 ROC 曲线。 6 种机器学习算法是：逻辑回归、随机森林、支持向

Databricks推荐的Spark GraphX库的入门学习资料。原书共7章，这里翻译了前4章。后面几章有时间的话可能会继续，可以关注我的blog了解进度，但不保证哈~。昨晚上传了一版后发现保存后的目录乱的很，这是修改过的，重新上传。

Databricks出品的MLflow：一个完整机器学习生命周期的开源平台 MLflow：机器学习生命周期平台 MLflow 是一个简化机器学习开发的平台，包括跟踪实验、将代码打包成可重现的运行以及共享和部署模型。 MLflow 提供了一组轻量级 API，可与任何现有的机器学习应用程序或库（TensorFlow、PyTorch、XGBoost 等）一起使用，无论您当前在何处运行 ML 代码（例如在笔记本、独立应用程序或云中）。 MLflow 的当前组件是： MLflow 跟踪：一个 API，用于记录机器学习实验中的参数、代码和结果，并使用交互式 UI 进行比较。 MLflow 项目：一种使用 Conda 和 Docker 可重复运行的代码打包格式，因此您可以与他人共享您的 ML 代码。 MLflow 模型：一种模型打包格式和工具，可让您轻松部署相同模型（来自任何 ML 库）以在 Docker、Apache Spark、Azure ML 和 AWS SageMaker 等平台上进行批量和实时评分。 MLflow 模型注册表：一个集中的模型存储、一组 API 和 UI，用于协作管

Databricks-Update-and-Announcing-Databricks-Cloud-Ion-Stoica.pdf

Project DNA Databricks Guide.docx

Databricks的Learning Spark - Lighting-Fast Data Analysis，2015-01-26第一版，作者是Holden Karau, Andy Konwinski, Patrick Wendell, and Matei Zaharia，搞Spark的应该都知道吧。第三章到第八章翻译试读。

Databricks气流演示 这是Databricks Airflow集成的演示，该集成利用有向无环图（DAG）编排和调度作业。 目录 要求 Databricks帐户 气流服务器 访问云存储或DBFS 设置 安装Airflow Databricks集成 运行以下命令以安装带有databricks集成的气流。 有关更多详细信息，请参见。 $ pip3 install "apache-airflow[databricks]" 获取Databricks令牌 可以从Databricks工作区获取databricks个人访问令牌。 请按照 详细说明进行操作。 设置气流 在本次研讨会中，我们将使用本地气流实例。 初始化数据库 运行以下命令以初始化气流数据库。 有关更多信息，请参见。 $ cd airflow $ airflow db init 设置气流用户 运行以下命令来设置气流用户。 $ cd