批量計(jì)算（BatchCompute，Batch）是為有大數(shù)據(jù)計(jì)算業(yè)務(wù)的企業(yè)、科研單位等提供高性價(jià)比且易用的計(jì)算服務(wù)。批量計(jì)算 Batch 可以根據(jù)用戶提供的批處理規(guī)模，智能地管理作業(yè)和調(diào)動(dòng)其所需的**資源。有了 Batch 的幫助，您可以將精力集中在如何分析和處理數(shù)據(jù)結(jié)果上。

功能

批量處理 Batch 提供系統(tǒng)自動(dòng)完成資源管理，作業(yè)調(diào)度和數(shù)據(jù)加載等多種強(qiáng)大功能，極大提高使用效率。

精細(xì)任務(wù)定義

使用 Batch，用戶需要指定批處理任務(wù)需要的云服務(wù)器配置、鏡像以及需要執(zhí)行的代碼或命令，Batch 將按照配置的信息來調(diào)度資源和啟動(dòng)計(jì)算任務(wù)。

• 定義云服務(wù)器配置指定云服務(wù)器的 CPU、內(nèi)存、磁盤大小等信息。
• 定義執(zhí)行鏡像指定批處理任務(wù)依賴的執(zhí)行環(huán)境，支持以 CVM 鏡像和 Docker 的方式來指定執(zhí)行環(huán)境。
• 運(yùn)行命令行和參數(shù)批量處理 Batch 創(chuàng)建好云服務(wù)器和完成鏡像部署后，將會(huì)執(zhí)行用戶指定的命令行并添加用戶配置的參數(shù)。

存儲(chǔ)掛載

Batch 支持將常見的云存儲(chǔ)服務(wù)掛載到本地的能力，用戶在操作云存儲(chǔ)產(chǎn)品上的文件與在本地操作文件無差別，在海量并發(fā)訪問情況下保證每個(gè)節(jié)點(diǎn)的訪問速度，實(shí)現(xiàn)快速訪問文件。Batch 支持對(duì)象存儲(chǔ) COS 掛載，用戶在 Batch 的任務(wù)定義里配置需要掛載的 COS 地址，以及需要掛載到的本地地址，Batch 在計(jì)算節(jié)點(diǎn)啟動(dòng)時(shí)會(huì)自動(dòng)進(jìn)行掛載操作。

任務(wù)依賴關(guān)系建模

Batch 可定義不同任務(wù)之間的依賴關(guān)系，還支持一個(gè)任務(wù)里啟動(dòng)多個(gè)實(shí)例完成計(jì)算任務(wù)。如您需要處理的任務(wù)可分為兩個(gè)不同的階段，每個(gè)階段需要的資源不同。利用 Batch 的任務(wù)依賴功能，您可以創(chuàng)建兩個(gè)不同資源需求的任務(wù)，其中下一個(gè)任務(wù)依賴于上一個(gè)任務(wù)。

• DAG 流程編輯可以通過 DAG 語法，來給多個(gè)批處理任務(wù)設(shè)置依賴關(guān)系，使多個(gè)批處理共同組成一個(gè)批處理作業(yè)。
• 多實(shí)例并發(fā)在任務(wù)配置里可以指定實(shí)例數(shù)目，同時(shí)可以通過環(huán)境變量的方式，讓不同實(shí)例獲取自己的實(shí)例序號(hào)，并發(fā)協(xié)同完成一個(gè)大型分析任務(wù)。