Airflow là gì

 - 

Airflow, một nền tảng mối cung cấp msinh hoạt, được sử dụng để sắp xếp những luồng quá trình dưới dạng biểu vật chu kỳ luân hồi theo phía (DAG) của các tác vụ Theo phong cách xây dựng. Một định kỳ trình luồng bầu không khí được áp dụng để lên trên lịch những tiến trình các bước với đường ống giải pháp xử lý tài liệu. Giao diện người tiêu dùng Airflow được cho phép tiện lợi hình dung các mặt đường ống chạy trong môi trường thiên nhiên chế tạo, đo lường và thống kê quy trình của quá trình công việc và cách xử lý sự cầm Khi buộc phải. Các phầm mềm cái lệnh đa dạng được áp dụng nhằm tiến hành các ca mổ xoang phức hợp bên trên DAG.quý khách sẽ xem: Airflow là gì

Trong blog này, hãy đàm luận về lập kế hoạch với triển khai các quá trình Talkết thúc cùng với Airflow.Quý Khách đã xem: Airflow Là Gì

Điều kiện tiên quyết

Luồng khí 1.7 trở lên Pybé 2.7 Studio mngơi nghỉ Talend (Tích vừa lòng tài liệu phệ hoặc dữ liệu)

Ca sử dụng

Lập lịch cùng tiến hành những các bước Talend ETL cùng với Airflow.

Bạn đang xem: Airflow là gì

Tóm tắc

Tác mang Talend vấn đề có tác dụng Lịch trình công việc Talend Giám sát tiến trình công việc vào Web UI

Mô tả công việc

Việc có tác dụng Talend ETL được chế tạo ra bởi:

Tđắm đuối gia application_id tự applicant_loan_info và loan_info như trình bày trong sơ đồ dưới đây:


*

*

Đang sở hữu dữ liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một bộ lọc bên trên LoanDecisionType nghành nghề vào  những loan_application_analysis bảng để xa lánh các cực hiếm như Approved , bị tự chối , cùng bị thu hồi . Áp dụng một cỗ lọc không giống trên những giá trị được bóc riêng rẽ ngơi nghỉ bên trên để bóc tách riêng rẽ LoanType thành Cá nhân , Tự động , Tín dụngNhà .

Công Việc Talkết thúc đang tạo nên desgin cùng dịch chuyển mang đến địa điểm sever. Một DAG có tên Loan_Application_Analysis.py được tạo ra với băng thông tương xứng của các tập lệnh để thực thi luồng theo kinh nghiệm.

Tạo thỏng mục DAG và khởi đụng lại sever website luồng ko khí

Sau lúc thiết đặt Airflow, hãy triển khai như sau:

Tạo tlỗi mục DAG ( / trang chủ / ubfox / airflow / dags ) trong đường dẫn Airflow. Di chuyển toàn bộ các .py tập tin vào thư mục DAG. Khởi rượu cồn lại sever web Airflow bằng mã sau đây giúp thấy DAG này vào danh sách UI: Loginto lớn the AIRFLOW_HOME path-- eg.(/home/ubuntu/airflow) To restart webserver ---> airflow webhệ thống To restart scheduler ---> airflow scheduler

Sau Khi khởi đụng lại máy chủ web, tất cả .py những tệp hoặc DAG trong thỏng mục sẽ tiến hành tmê man chiếu với cài vào list DAG UI web.

Lập chiến lược công việc

Lưu ý : Công Việc có thể được kích hoạt thủ công bằng cách nhấp vào nút Run bên dưới cột Liên kết nhỏng hình bên dưới đây:

*

Cả hai công việc được lên kế hoạch tự động hóa với được kích hoạt bằng tay hoàn toàn có thể được xem vào bối cảnh người tiêu dùng như sau:

*

Giám sát công việc

Xem biểu đồ

Các tâm lý của các công việc được biểu lộ dưới dạng hình ảnh như bên dưới đây:

*

Chế độ coi cây

Các tinh thần của các công việc cùng rất ngày tiến hành của các các bước được mô tả bên dưới dạng câgiống hệt như dưới đây:

Xem Gannt

Các tâm trạng của các công việc cùng rất ngày triển khai của những quá trình được trình bày theo format Gannt nhỏng bên dưới đây:

Xem thời lượng tác vụ

Khi nhấp vào tab Thời lượng tác vụ , bạn cũng có thể coi thời lượng tác vụ của tổng thể quá trình hoặc DAG theo định dạng bối cảnh như dưới đây:

Xem trường hợp nhiệm vụ

Bằng bí quyết nhấp vào Duyệt > Trường hợp tác ký kết vụ , chúng ta cũng có thể xem các ngôi trường phù hợp mà lại các tác vụ đang chạy, như được hiển thị mặt dưới:

Xem công việc

Bằng cách nhấp vào Duyệt > Công việc , bạn có thể xem chi tiết nhỏng thời hạn bắt đầu, thời hạn hoàn thành và fan tiến hành các bước, nlỗi được hiển thị trong sơ thứ mặt dưới:

Xem nhật ký

Bằng cách nhấp vào Duyệt > ViewLog , chúng ta cũng có thể coi cụ thể của nhật cam kết, như được hiển thị vào sơ vật dụng mặt dưới:

Hồ sơ dữ liệu

Airflow hỗ trợ đồ họa truy vấn SQL dễ dàng nhằm truy vấn vấn dữ liệu và bối cảnh người dùng biểu vật nhằm trực quan lại hóa các tác vụ.

Xem thêm: Upc Và Ean Là Gì ? Upc Và Ean Ký Hiệu Là Gì

Để thông số kỹ thuật dữ liệu của bạn, nhấp vào Quản trị viên > Kết nối nhằm chọn một số loại kết nối cửa hàng dữ liệu, nlỗi được hiển thị vào sơ thiết bị bên dưới:

Biểu đồ

Các loại trực quan lại hóa khác nhau hoàn toàn có thể được tạo cho thời hạn tác vụ cùng trạng thái nhiệm vụ bằng biểu thứ.

Để sản xuất các biểu thứ nhỏng thanh hao, con đường, Quanh Vùng, v.v. cho 1 DAG cụ thể bởi truy vấn vấn Squốc lộ, nhấp vào Cấu hình dữ liệu > Biểu đồ > DAG_id , như được hiển thị vào sơ vật mặt dưới:

thông báo hiện đang có email

Thông báo qua gmail nhỏng email_on_failure, email_on_successcùng email_on_retries hoàn toàn có thể được đặt để tìm hiểu tâm lý công việc.

Xem thêm: " Sơ Đồ Khối Là Gì ? Nghĩa Của Từ Sơ Đồ Khối Trong Tiếng Việt

Để nhảy thông báo, hãy triển khai nhỏng sau:

Định cấu hình thiết đặt trong airflow.cfg tệp vào airflow_home đường truyền, nlỗi hiển thị bên dưới:

Đặt lại setup email của bạn thành cài đặt Gmail >  allow_less safe_apps > ON để dấn thông tin qua gmail trường đoản cú Airflow.

Một tin nhắn không thắng cuộc quá trình được hiển thị dưới đây:

Phần kết luận

Trong blog này, Cửa Hàng chúng tôi đã đàm luận về người sáng tác, lập định kỳ cùng giám sát và đo lường tiến trình quá trình trường đoản cú bối cảnh người tiêu dùng web, tương tự như kích hoạt các quá trình Talkết thúc thẳng tự bối cảnh người dùng website theo những hiểu biết bằng cách áp dụng bash toán thù tử. quý khách cũng hoàn toàn có thể chuyển dữ liệu tự cơ sở dữ liệu này quý phái cơ sở dữ liệu không giống bởi generic_transfer tân oán tử.


Chuyên mục: Chia sẻ