職位描述:
崗位職責 1負責云計算架構(gòu) 1設計并部署高可用物聯(lián)網(wǎng)云平臺支持百萬級設備接入規(guī)劃混合云架構(gòu)與安全通信方案TLS/DTLS優(yōu)化VPC網(wǎng)絡與邊緣計算協(xié)同 2實施容器化解決方案K8s/ECS實現(xiàn)微服務治理自動擴縮容與灰度發(fā)布 3制定云資源優(yōu)化策略預留/Spot實例混用建立自動化資源回收機制 2負責數(shù)據(jù)處理體系 1構(gòu)建端到端數(shù)據(jù)管道邊緣計算預處理設備數(shù)據(jù)RK3588S格式規(guī)范通過Kafka/Pulsar異步傳輸設計時序庫InfluxDB/TDengine與關系庫分層存儲 2開發(fā)流批一體處理系統(tǒng)Spark/Flink構(gòu)建數(shù)據(jù)湖DeltaLake/Iceberg支持多模態(tài)數(shù)據(jù)統(tǒng)一存儲 3實施數(shù)據(jù)治理體系血緣追蹤/元數(shù)據(jù)管理建立質(zhì)量監(jiān)控與自動修復機制 3物聯(lián)網(wǎng)專項 1開發(fā)設備管理服務MQTT/CoAP協(xié)議適配支持設備影子同步OTA升級與固件版本控制 2部署邊緣計算節(jié)點AWSGreengrass/AliyunLink實現(xiàn)AI推理優(yōu)化與數(shù)據(jù)同步策略 3構(gòu)建安全體系X509/KMS加密滿足GDPR/HIPAA合規(guī)要求建立審計日志追蹤機制 任職要求 1計算機科學與技術軟件工程數(shù)據(jù)科學與大數(shù)據(jù)技術信息與計算科學自動化/人工智能等相關專業(yè)畢業(yè) 2有大數(shù)據(jù)處理經(jīng)驗Spark/Flink熟悉云平臺AWS/Azure及DevOps工具鏈熟悉MySQL/MongoDB等數(shù)據(jù)庫技術 3核心技能要求 31編程基礎Java/Python/Scala至少精通一門熟悉Shell腳本 32大數(shù)據(jù)技術棧HadoopSparkFlinkKafka等分布式框架 33數(shù)據(jù)庫與SQL熟練使用MySQLHiveHBase等優(yōu)化查詢能力 34Linux與云計算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平臺 35數(shù)據(jù)結(jié)構(gòu)與算法尤其關注分布式場景下的數(shù)據(jù)處理如MapReduce原理 4其他要求 具有AWSCertifiedDataAnalyticsClouderaCCP等證書 具有成功項目經(jīng)驗GitHub展示如用Spark處理TB級數(shù)據(jù)的優(yōu)化案例等
舉報
崗位職責 1負責云計算架構(gòu) 1設計并部署高可用物聯(lián)網(wǎng)云平臺支持百萬級設備接入規(guī)劃混合云架構(gòu)與安全通信方案TLS/DTLS優(yōu)化VPC網(wǎng)絡與邊緣計算協(xié)同 2實施容器化解決方案K8s/ECS實現(xiàn)微服務治理自動擴縮容與灰度發(fā)布 3制定云資源優(yōu)化策略預留/Spot實例混用建立自動化資源回收機制 2負責數(shù)據(jù)處理體系 1構(gòu)建端到端數(shù)據(jù)管道邊緣計算預處理設備數(shù)據(jù)RK3588S格式規(guī)范通過Kafka/Pulsar異步傳輸設計時序庫InfluxDB/TDengine與關系庫分層存儲 2開發(fā)流批一體處理系統(tǒng)Spark/Flink構(gòu)建數(shù)據(jù)湖DeltaLake/Iceberg支持多模態(tài)數(shù)據(jù)統(tǒng)一存儲 3實施數(shù)據(jù)治理體系血緣追蹤/元數(shù)據(jù)管理建立質(zhì)量監(jiān)控與自動修復機制 3物聯(lián)網(wǎng)專項 1開發(fā)設備管理服務MQTT/CoAP協(xié)議適配支持設備影子同步OTA升級與固件版本控制 2部署邊緣計算節(jié)點AWSGreengrass/AliyunLink實現(xiàn)AI推理優(yōu)化與數(shù)據(jù)同步策略 3構(gòu)建安全體系X509/KMS加密滿足GDPR/HIPAA合規(guī)要求建立審計日志追蹤機制 任職要求 1計算機科學與技術軟件工程數(shù)據(jù)科學與大數(shù)據(jù)技術信息與計算科學自動化/人工智能等相關專業(yè)畢業(yè) 2有大數(shù)據(jù)處理經(jīng)驗Spark/Flink熟悉云平臺AWS/Azure及DevOps工具鏈熟悉MySQL/MongoDB等數(shù)據(jù)庫技術 3核心技能要求 31編程基礎Java/Python/Scala至少精通一門熟悉Shell腳本 32大數(shù)據(jù)技術棧HadoopSparkFlinkKafka等分布式框架 33數(shù)據(jù)庫與SQL熟練使用MySQLHiveHBase等優(yōu)化查詢能力 34Linux與云計算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平臺 35數(shù)據(jù)結(jié)構(gòu)與算法尤其關注分布式場景下的數(shù)據(jù)處理如MapReduce原理 4其他要求 具有AWSCertifiedDataAnalyticsClouderaCCP等證書 具有成功項目經(jīng)驗GitHub展示如用Spark處理TB級數(shù)據(jù)的優(yōu)化案例等
舉報
大數(shù)據(jù)開發(fā)工程師職業(yè)大全:
- 你可能感興趣的職位
- 最近瀏覽記錄
-
5-8千/月
-
5-8千/月
-
面議
-
0.4-1.2萬/月
-
0.8-1.2萬/月
-
5-7千/月
-
0.5-1萬/月
-
面議
- 公司規(guī)模:20-99人
聯(lián)系方式
- 聯(lián)系人:陳金瑩
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:深圳市南山區(qū)桃源街道大學城社區(qū)篤學路9號國家超級計算深圳中心科研樓七樓