騰訊雙螺旋(Tencent Helix)是面向生物基因等行業(yè)的一站式數據管理工具,用戶可通過雙螺旋將海量數據快速上傳云端存儲,并調用云上豐富的高性能資源進行高速計算。幫助客戶更高效、經濟地存儲、計算、傳輸、管理、分析海量數據。? ??
功能
騰訊云雙螺旋提供了項目管理、作業(yè)管理等多種功能。
項目管理
用戶可根據自己的業(yè)務情況,在雙螺旋上創(chuàng)建多個項目。每個項目對應一塊業(yè)務或者一個客戶。創(chuàng)建項目之后,系統會為每個項目分配一個云存儲(COS)Bucket,后續(xù)用戶在該項目中上傳的文件,都將存入這個項目 Bucket 中。
數據管理
數據上傳至云端后,用戶對數據進行分享、復制、下載、冷備、解凍等各項操作。
a. 上傳數據:用戶創(chuàng)建完項目后,可通過 Web、客戶端工具將文件從本地上傳至云端的項目 Bucket。如果現有數據存放在AWS或阿里云存儲,也可通過遷移工具,將數據存入騰訊云。b. 分享數據:用戶可將已經上傳云端的數據,分享給騰訊云上的其他用戶。此功能可應用于給客戶交付業(yè)務數據等場景。c. 復制數據:用戶可將已經上傳云端的數據,從一個項目復制到另外一個項目,或從一個文件夾復制到另一個文件夾。d. 刪除數據:用戶可刪除已經上傳云端的數據或文件夾。
作業(yè)管理
a. 新建作業(yè):當用戶需要使用云上海量計算能力進行數據分析時,可在雙螺旋上新建作業(yè)來執(zhí)行分析任務。用戶在新建一個作業(yè)時,需要完成以下相應作業(yè)配置:
- 基本信息:作業(yè)名稱、描述及所屬項目;
- 計算節(jié)點配置:選擇執(zhí)行任務的機型配置(包括 CPU、內存等)和鏡像,并指定計算節(jié)點所配置數據盤的本地目錄。配置計算節(jié)點的登錄密碼,以便計算過程中可訪問相應的計算節(jié)點。配置作業(yè)所需的結算節(jié)點數量;
- 輸入配置:指定項目 Bucket 在計算節(jié)點的本地掛載目錄。在執(zhí)行作業(yè)時,系統會自動將作業(yè)所屬項目的項目 Bucket 掛載到每個計算節(jié)點上,以便在計算過程中讀寫數據。如果計算過程中需要用到存儲在項目 Bucket 之外的其他 Bucket 上的數據,可以指定數據所在目錄與本地目錄之間的對應關系,將該部分數據/目錄掛載到計算節(jié)點上參與計算;
- 輸出配置:在計算完成后,計算節(jié)點將進行回收,所以需要您提前設定計算結果所在目錄與項目 Bucket 中存儲結果目錄的對應關系。在作業(yè)完成后,系統將按照用戶的輸出設置,將結果同步回項目 Bucket 后,再回收計算節(jié)點。
- 作業(yè)命令:用戶在雙螺旋控制臺上輸入的作業(yè)命令,將被投放到執(zhí)行當次作業(yè)的計算節(jié)點上,計算節(jié)點將按照命令執(zhí)行作業(yè)。
b. 查看作業(yè):用戶新建完作業(yè)之后,可在作業(yè)列表中查看作業(yè)運行狀態(tài),必要時可登錄執(zhí)行作業(yè)的計算節(jié)點。
c. 刪除作業(yè)用戶可將已經完成的作業(yè),從作業(yè)列表中刪除。
通用設置
- 機型設置:雙螺旋提供了多種配置的豐富機型供用戶選擇,用戶可根據自身業(yè)務對 CPU、內存、存儲的需求,提前選擇對應配置的機型,并將其存為自定義機型供創(chuàng)建作業(yè)時選用。
- 鏡像管理:用戶可提前將計算中需要用到的軟件和腳本打包成鏡像,存放在云端。創(chuàng)建作業(yè)時,選擇對應的鏡像創(chuàng)建計算節(jié)點,即可使用其中的軟件和腳本進行分析和計算。