- 目錄
崗位職責(zé)是什么
數(shù)據(jù)倉(cāng)庫(kù)崗位是一個(gè)關(guān)鍵的業(yè)務(wù)分析角色,負(fù)責(zé)設(shè)計(jì)、實(shí)施和維護(hù)企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),以支持決策制定和業(yè)務(wù)洞察。
崗位職責(zé)要求
1. 深入理解企業(yè)業(yè)務(wù)流程,能夠識(shí)別關(guān)鍵數(shù)據(jù)需求,并轉(zhuǎn)化為有效的數(shù)據(jù)模型。
2. 熟練掌握數(shù)據(jù)倉(cāng)庫(kù)建模技術(shù),如星型、雪花型模型,以及維度建模方法。
3. 掌握etl(提取、轉(zhuǎn)換、加載)過程,能設(shè)計(jì)和優(yōu)化數(shù)據(jù)抽取和處理流程。
4. 精通sql和至少一種主流數(shù)據(jù)倉(cāng)庫(kù)平臺(tái),如oracle、teradata或hadoop。
5. 具備良好的編程能力,熟悉python、java或scala,用于數(shù)據(jù)處理和自動(dòng)化任務(wù)。
6. 對(duì)大數(shù)據(jù)處理和云計(jì)算技術(shù)有深入了解,如hadoop、spark或aws redshift。
7. 具備良好的項(xiàng)目管理和溝通技巧,能夠協(xié)調(diào)各部門資源,確保項(xiàng)目按時(shí)完成。
崗位職責(zé)描述
數(shù)據(jù)倉(cāng)庫(kù)工程師的工作涵蓋從數(shù)據(jù)源的獲取到數(shù)據(jù)呈現(xiàn)的全過程。他們構(gòu)建和優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)架構(gòu),確保數(shù)據(jù)的準(zhǔn)確性和一致性。此外,他們還需要監(jiān)控系統(tǒng)性能,解決查詢效率問題,以提高整體數(shù)據(jù)處理能力。在團(tuán)隊(duì)協(xié)作中,他們與業(yè)務(wù)分析師、數(shù)據(jù)科學(xué)家和it部門緊密合作,確保數(shù)據(jù)倉(cāng)庫(kù)滿足業(yè)務(wù)需求,為公司的戰(zhàn)略決策提供強(qiáng)有力的數(shù)據(jù)支持。
有哪些內(nèi)容
1. 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì):根據(jù)業(yè)務(wù)需求,設(shè)計(jì)高效、可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu),包括數(shù)據(jù)模型、分區(qū)策略和索引優(yōu)化。
2. etl開發(fā)與管理:編寫和維護(hù)etl腳本,實(shí)現(xiàn)數(shù)據(jù)清洗、轉(zhuǎn)換和加載,確保數(shù)據(jù)質(zhì)量。
3. 系統(tǒng)優(yōu)化:監(jiān)控和調(diào)整數(shù)據(jù)倉(cāng)庫(kù)性能,解決查詢延遲問題,提升系統(tǒng)響應(yīng)速度。
4. 數(shù)據(jù)安全與合規(guī):確保數(shù)據(jù)倉(cāng)庫(kù)符合企業(yè)內(nèi)部政策及行業(yè)法規(guī),保護(hù)數(shù)據(jù)隱私。
5. 項(xiàng)目協(xié)調(diào):參與項(xiàng)目計(jì)劃,與團(tuán)隊(duì)成員溝通,跟蹤項(xiàng)目進(jìn)度,確保項(xiàng)目成功實(shí)施。
6. 技術(shù)創(chuàng)新:關(guān)注行業(yè)發(fā)展趨勢(shì),評(píng)估新技術(shù),推動(dòng)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的持續(xù)改進(jìn)和升級(jí)。
7. 培訓(xùn)與支持:為業(yè)務(wù)用戶和分析師提供技術(shù)支持,幫助他們更好地理解和利用數(shù)據(jù)倉(cāng)庫(kù)資源。
總結(jié),數(shù)據(jù)倉(cāng)庫(kù)崗位在企業(yè)中扮演著至關(guān)重要的角色,通過構(gòu)建和維護(hù)高效的數(shù)據(jù)存儲(chǔ)和分析環(huán)境,為企業(yè)決策提供有力的數(shù)據(jù)支持,驅(qū)動(dòng)業(yè)務(wù)發(fā)展。
數(shù)據(jù)倉(cāng)庫(kù)崗位職責(zé)范文
第1篇 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)工程師崗位職責(zé)
數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)師/etl工程師 同程藝龍 同程網(wǎng)絡(luò)科技股份有限公司,同程旅游,同程藝龍,同程 位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)采集、處理、存儲(chǔ)以及挖掘分析的架構(gòu)實(shí)現(xiàn),負(fù)責(zé)架構(gòu)設(shè)計(jì)和指導(dǎo)團(tuán)隊(duì)落地;
2、參與數(shù)據(jù)平臺(tái)建設(shè),包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作;設(shè)計(jì)并實(shí)現(xiàn)對(duì)bi分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持;
3、研究未來數(shù)據(jù)模型和計(jì)算框架的創(chuàng)新與落地,包括但不限于以下領(lǐng)域:大規(guī)模數(shù)據(jù)實(shí)時(shí)化、研發(fā)模式敏捷化、數(shù)據(jù)計(jì)算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務(wù)化等方面。
職位要求:
1、具備5年以上dw系統(tǒng)建設(shè)經(jīng)驗(yàn);了解數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過程中的挑戰(zhàn)與問題,有實(shí)際架構(gòu)設(shè)計(jì)和數(shù)據(jù)建模經(jīng)驗(yàn),有作為技術(shù)負(fù)責(zé)人系統(tǒng)化解決問題的成功案例;
2、有dw/bi架構(gòu)體系中某些領(lǐng)域的專項(xiàng)建設(shè)經(jīng)驗(yàn),包括但不限于:數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、流計(jì)算、分布式計(jì)算、分布式文件系統(tǒng)、分布式存儲(chǔ)、大規(guī)模數(shù)據(jù)實(shí)時(shí)化、跨平臺(tái)資源調(diào)度;
3、熟悉hadoop生態(tài)圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;
4、有海量數(shù)據(jù)建模實(shí)踐經(jīng)驗(yàn)優(yōu)先。
第2篇 數(shù)據(jù)倉(cāng)庫(kù)顧問崗位職責(zé)
售前咨詢顧問(數(shù)據(jù)倉(cāng)庫(kù)/大數(shù)據(jù)產(chǎn)品方向) 勝科金仕達(dá) 勝科金仕達(dá)數(shù)據(jù)系統(tǒng)(中國(guó))有限公司,sungard china,勝科金仕達(dá),勝科金仕達(dá)中國(guó),勝科金仕達(dá) 職位描述:
1.負(fù)責(zé)數(shù)據(jù)分析、數(shù)據(jù)倉(cāng)庫(kù)等數(shù)據(jù)類項(xiàng)目的需求挖掘,售前,方案設(shè)計(jì)等
2.為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、管控工具和可視化bi項(xiàng)目提供售前支持
3.負(fù)責(zé)與客戶進(jìn)行現(xiàn)場(chǎng)交流、售前等工作
4.負(fù)責(zé)客戶售前解決方案、產(chǎn)品白皮書等整理編寫
5.理解客戶需求,根據(jù)客戶需求設(shè)計(jì)解決方案
6.參與招投標(biāo),獨(dú)立進(jìn)行投標(biāo)技術(shù)講解等招投標(biāo)工作
崗位要求:
1.2-5年的數(shù)據(jù)倉(cāng)庫(kù)、bi開發(fā),售前或項(xiàng)目管理等方面經(jīng)驗(yàn)
2.本科以上,計(jì)算機(jī)相關(guān)專業(yè),碩士?jī)?yōu)先
3.有較強(qiáng)的邏輯分析能力,口頭表達(dá)能力強(qiáng)
4.具備數(shù)據(jù)倉(cāng)庫(kù)相關(guān)技術(shù)能力
5. 熟練使用ppt、word、e_cel等辦公工具
6. 有責(zé)任感,具備良好的溝通能力和團(tuán)隊(duì)合作精神。
第3篇 大數(shù)據(jù)開發(fā)(數(shù)據(jù)倉(cāng)庫(kù))職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1、參與計(jì)算框架和服務(wù)的定制和改進(jìn),為公司批處理和流式計(jì)算能力提供支撐
2、基于業(yè)務(wù)需求和應(yīng)用場(chǎng)景,設(shè)計(jì)和實(shí)現(xiàn)公司大數(shù)據(jù)相關(guān)產(chǎn)品
3、負(fù)責(zé)設(shè)計(jì),開發(fā),優(yōu)化數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算服務(wù)框架
4、為公司所有業(yè)務(wù)線提供數(shù)據(jù)支持和服務(wù)
任職要求:
1、本科以上學(xué)歷,3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),掌握數(shù)據(jù)倉(cāng)庫(kù)理論、模型設(shè)計(jì)方法、etl設(shè)計(jì)理論等
2、對(duì)大數(shù)據(jù)離線數(shù)倉(cāng)有成熟的解決方案和實(shí)踐經(jīng)驗(yàn)
3、深入理解公司業(yè)務(wù),建立指標(biāo)分析體系,利用數(shù)據(jù)分析,不斷驅(qū)動(dòng)業(yè)務(wù)優(yōu)化,策略分析經(jīng)驗(yàn)豐富優(yōu)先
4、了解sql, hive sql,sparksql優(yōu)先,熟悉python編程,java基礎(chǔ)編程
5、有較強(qiáng)的性能優(yōu)化及問題排查、解決能力
6、具備良好的溝通能力,做事認(rèn)真、仔細(xì),有責(zé)任心,具有團(tuán)隊(duì)協(xié)作能力
第4篇 外包高級(jí)數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.能夠獨(dú)立的分析和設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)需求解決方案;
2.善于和用戶溝通、準(zhǔn)確了解和定義業(yè)務(wù)需求并設(shè)計(jì)解決方案;
3.熟練掌握mysql數(shù)據(jù)庫(kù),精通sql語句編寫;
5.有數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市相關(guān)項(xiàng)目背景者有限考慮;
6.5年以上數(shù)據(jù)庫(kù)實(shí)際項(xiàng)目開發(fā)經(jīng)驗(yàn);
7.熟練掌握etl工具,掌握kettle/informatica開發(fā)者優(yōu)先;
8.熟悉shell、perl等腳本語言者優(yōu)先;
9.良好的溝通和學(xué)習(xí)能力。
第5篇 數(shù)據(jù)倉(cāng)庫(kù)研發(fā)工程師崗位職責(zé)
搜狗金融-數(shù)據(jù)倉(cāng)庫(kù)研發(fā)工程師-北京-02173 (mj001926) 搜狗 北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗 崗位職責(zé):
1、 數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計(jì)
2、 數(shù)據(jù)倉(cāng)庫(kù)etl規(guī)則設(shè)計(jì)和開發(fā)
3、 利用hql進(jìn)行數(shù)據(jù)清洗,根據(jù)應(yīng)用場(chǎng)景建立數(shù)據(jù)集市。
4、 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。
5、 數(shù)據(jù)倉(cāng)庫(kù)需求調(diào)研和需求分析
任職條件:
1、 熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;
2、 熟練使用hadoop、hive、sqoop,熟練使用hive sql并有一定編寫 map/reduce 開發(fā)經(jīng)驗(yàn);
3、 熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論,了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層架構(gòu),精通3nf和多維數(shù)據(jù)模型設(shè)計(jì);
4、 具備大中型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、etl設(shè)計(jì)的相關(guān)經(jīng)驗(yàn);
5、 具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗(yàn)者優(yōu)先
這是一款定位于服務(wù)平臺(tái)互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢(shì)以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢(shì),并結(jié)合平臺(tái)的綜合運(yùn)營(yíng)實(shí)力。
第6篇 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)負(fù)責(zé)人職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.領(lǐng)導(dǎo)由軟件工程師和數(shù)據(jù)挖掘工程師組成的團(tuán)隊(duì),來設(shè)計(jì)和構(gòu)建pb級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)。
2.提供數(shù)據(jù)倉(cāng)庫(kù)的頂層設(shè)計(jì)。
3.組織團(tuán)隊(duì)管理使用各類多pb分析堆棧。
4.推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)工具(作業(yè)調(diào)度程序,etl,數(shù)據(jù)可視化,查詢編輯器等)的開發(fā)。
5.與其他團(tuán)隊(duì)的技術(shù)負(fù)責(zé)人,產(chǎn)品負(fù)責(zé)人緊密聯(lián)系,以確保數(shù)據(jù)作為可行資源可以滿足當(dāng)前和未來特定it系統(tǒng)內(nèi)外需求
6.盡最大的努力保持工程師的成長(zhǎng)和快樂。
任職要求:
1.擁有計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷。
2.熟悉java語言,有hadoop, spark等大數(shù)據(jù)框架的使用經(jīng)驗(yàn)。
3.熟練運(yùn)用spring,mybatis等主流的開發(fā)框架;熟練使用oracle、mysql數(shù)據(jù)庫(kù);熟悉git、junit、maven等工具應(yīng)用。
4.熟悉敏捷開發(fā)流程。
5.在大數(shù)據(jù)平臺(tái)或分析團(tuán)隊(duì)中擁有2年以上的研發(fā)管理經(jīng)驗(yàn)。
6.有豐富的設(shè)計(jì)和構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的經(jīng)驗(yàn)。
7.出色的溝通和跨團(tuán)隊(duì)合作技巧。
第7篇 bi數(shù)據(jù)倉(cāng)庫(kù)工程師崗位職責(zé)
bi工程師-數(shù)據(jù)倉(cāng)庫(kù) 涂鴉智能 杭州涂鴉科技有限公司,涂鴉智能,愛相機(jī) 崗位職責(zé):
1. 負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)調(diào)研、需求理解,數(shù)據(jù)采集方案設(shè)計(jì)及實(shí)現(xiàn);
2. 負(fù)責(zé)建立數(shù)據(jù)模型,根據(jù)業(yè)務(wù)設(shè)計(jì)數(shù)據(jù)主題;
3. 負(fù)責(zé)數(shù)據(jù)模型的etl編寫,參與團(tuán)隊(duì)etl流程的優(yōu)化及解決etl相關(guān)技術(shù)問題;
4. 理解業(yè)務(wù)方的數(shù)據(jù)需求,提供面向業(yè)務(wù)的olap、報(bào)表、數(shù)據(jù)提取等數(shù)據(jù)服務(wù);
任職要求:
1. 本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),2-5年企業(yè)級(jí)數(shù)據(jù)平臺(tái)相關(guān)系統(tǒng)開發(fā)經(jīng)驗(yàn);
2. sql技能嫻熟,精通hive-sql,presto-sql
3. 具有扎實(shí)的計(jì)算機(jī)操作系統(tǒng)、數(shù)據(jù)結(jié)構(gòu)等編程基礎(chǔ),熟悉java或scala語言;
4. 有過2年以上bi項(xiàng)目經(jīng)驗(yàn),熟悉開源的bi工具如:metabase,superset,redash.有實(shí)際操作經(jīng)驗(yàn)。
7. 有良好的溝通能力,善于主動(dòng)思考和行動(dòng),有極強(qiáng)的責(zé)任心和自驅(qū)力。
第8篇 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1. 負(fù)責(zé)海量數(shù)據(jù)的整體架構(gòu)設(shè)計(jì)和數(shù)據(jù)架構(gòu)管控、根據(jù)具體業(yè)務(wù)和產(chǎn)品對(duì)數(shù)據(jù)模型進(jìn)行統(tǒng)一分析和規(guī)劃;
2. 負(fù)責(zé)企業(yè)級(jí)信息架構(gòu)(如業(yè)務(wù)數(shù)據(jù)對(duì)象識(shí)別、數(shù)據(jù)實(shí)體、數(shù)據(jù)屬性分析、數(shù)據(jù)標(biāo)準(zhǔn)、端到端數(shù)據(jù)流等)的設(shè)計(jì)與優(yōu)化;確保變革方案對(duì)架構(gòu)遵從,并協(xié)助推動(dòng)跨領(lǐng)域重大數(shù)據(jù)問題的分析、定位、解決方案設(shè)計(jì)和落地;
3. 負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制,指導(dǎo)開發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);
4. 負(fù)責(zé)項(xiàng)目重點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);
5. 對(duì)開發(fā)團(tuán)隊(duì)提供架構(gòu)導(dǎo)引、技術(shù)監(jiān)督和風(fēng)險(xiǎn)預(yù)判,確保開發(fā)技術(shù)框架不偏離正確方向;
6. 配合項(xiàng)目經(jīng)理進(jìn)行技術(shù)決策、風(fēng)險(xiǎn)評(píng)估、及技術(shù)架構(gòu)宣貫和推廣;
7. 其他部門發(fā)展所需承擔(dān)的必要工作。
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷。有5年及以上架構(gòu)師工作經(jīng)驗(yàn),有3年以上大數(shù)據(jù)相關(guān)領(lǐng)域工作經(jīng)驗(yàn)。
2、具有扎實(shí)的大數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)的理論功底,負(fù)責(zé)過大數(shù)據(jù)平臺(tái)或數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)。
3、算法基礎(chǔ)扎實(shí),熟悉常見的數(shù)據(jù)結(jié)構(gòu),深入理解分布式算法和分布式系統(tǒng)原理。
5、善于溝通,有良好的文檔寫作能力,良好的溝通能力和團(tuán)隊(duì)合作精神,良好的抽象思維,理性做出技術(shù)決策,具有風(fēng)險(xiǎn)控制意識(shí)。
第9篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)字節(jié)跳動(dòng)旗下的用戶產(chǎn)品線的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量,與數(shù)據(jù)工具團(tuán)隊(duì)緊密合作;
3、理解并合理抽象業(yè)務(wù)需求,發(fā)揮數(shù)據(jù)價(jià)值,與業(yè)務(wù)團(tuán)隊(duì)緊密合作。
任職要求:
1、精通數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論、深入了解數(shù)據(jù)倉(cāng)庫(kù)體系,并支撐過實(shí)際業(yè)務(wù)場(chǎng)景;
2、具備較強(qiáng)的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項(xiàng),有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn);
3、對(duì)數(shù)據(jù)敏感,認(rèn)真細(xì)致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn);
4、善于溝通,具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力。
第10篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)(_h_)職位描述與崗位職責(zé)任職要求
職位描述:
數(shù)據(jù)倉(cāng)庫(kù)工程師
工作職責(zé):
1.參與或負(fù)責(zé)數(shù)據(jù)產(chǎn)品或數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用項(xiàng)目的etl設(shè)計(jì)、開發(fā)、維護(hù)及質(zhì)量核查;
2.參與或負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)模型的規(guī)劃和設(shè)計(jì),建立并執(zhí)行統(tǒng)一的數(shù)據(jù)開發(fā)規(guī)范;
3.參與或負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施和平臺(tái)的建設(shè),搭建教育行業(yè)領(lǐng)域的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù);
4.和數(shù)據(jù)分析師團(tuán)隊(duì)及其他需求部門進(jìn)行有效溝通,完成數(shù)據(jù)需求及數(shù)據(jù)問題解決等;
5.完成日常數(shù)據(jù)質(zhì)量的監(jiān)控,跟蹤處理各類數(shù)據(jù)質(zhì)量問題。
職位要求:
1.熟悉主流關(guān)系數(shù)據(jù)庫(kù),熟練sql開發(fā),熟悉linu_系統(tǒng)、shell編程;
2.精通數(shù)據(jù)倉(cāng)庫(kù)的etl的開發(fā),有海量數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn);
3.熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域數(shù)據(jù)模型設(shè)計(jì)方法,并有相關(guān)數(shù)倉(cāng)模型設(shè)計(jì)經(jīng)驗(yàn);
4.熟悉hadoop、hive、hbase、kafka、 flume、spark等開源框架,優(yōu)先考慮;
5.較好的溝通理解能力,性格樂觀,態(tài)度踏實(shí),積極上進(jìn)。
第11篇 數(shù)據(jù)倉(cāng)庫(kù)/etl/bi工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建模,業(yè)務(wù)數(shù)據(jù)集市建設(shè)開發(fā)
2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)etl流程的優(yōu)化及解決etl相關(guān)技術(shù)問題、etl流程監(jiān)控,保障數(shù)據(jù)平臺(tái)架構(gòu)穩(wěn)定性
3、建立數(shù)據(jù)分析指標(biāo)體系,不斷完善指標(biāo)體系和分析模型;
4、通過專項(xiàng)分析,輸出專項(xiàng)分析報(bào)告
5、負(fù)責(zé)數(shù)據(jù)分析相關(guān)需求和數(shù)據(jù)測(cè)試的工作
任職要求:
學(xué)歷要求:
全日制統(tǒng)考類本科及以上學(xué)歷,計(jì)算機(jī)、通信、電子、軟件工程、統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)、數(shù)據(jù)分析等相關(guān)專業(yè)
專業(yè)技能:
1、熟悉數(shù)據(jù)倉(cāng)庫(kù)各類模型建模理論,熟悉數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層架構(gòu)和多維數(shù)據(jù)模型設(shè)計(jì);
2、豐富的數(shù)據(jù)分析經(jīng)驗(yàn),熟練掌握sql、hql、sparksql,擅長(zhǎng)運(yùn)用其分析并完成復(fù)雜業(yè)務(wù)數(shù)據(jù)查詢
3、掌握至少一種數(shù)據(jù)庫(kù)開發(fā)技術(shù):mysql/oracle/db2等,靈活運(yùn)用sql實(shí)現(xiàn)海量數(shù)據(jù)etl加工處理;
4、熟悉hadoop生態(tài)(如:hdfs/mapreduce/hive/hbase等),并有相關(guān)實(shí)踐經(jīng)驗(yàn);
5、熟練掌握一門或多門編程語言(如:python/shell/java/c++等),并有大型項(xiàng)目建設(shè)經(jīng)驗(yàn)者優(yōu)先;
素質(zhì):
1、敏銳的數(shù)據(jù)觀察和分析能力,及時(shí)發(fā)現(xiàn)和分析其中隱含的變化和問題并給出建議;
2、良好的溝通能力和團(tuán)隊(duì)精神,較強(qiáng)的學(xué)習(xí)能力,能承擔(dān)一定的工作壓力。
經(jīng)驗(yàn):
至少2年以上數(shù)據(jù)倉(cāng)庫(kù)(離線&實(shí)時(shí))模型設(shè)計(jì)開發(fā)、etl設(shè)計(jì)開發(fā)的相關(guān)經(jīng)驗(yàn),有通信運(yùn)營(yíng)商o域/b域大數(shù)據(jù)、智慧城市大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)、etl設(shè)計(jì)研發(fā)經(jīng)驗(yàn)者優(yōu)先
第12篇 dw數(shù)據(jù)倉(cāng)庫(kù)etl工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1. 負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)開發(fā)需求收集和分析;
2. 負(fù)責(zé)數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì)和開發(fā);
3. 負(fù)責(zé)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā);
4. 負(fù)責(zé)對(duì)公司數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)整體架構(gòu)改進(jìn)與流程優(yōu)化;
5. 負(fù)責(zé)bi報(bào)表開發(fā)和優(yōu)化。
任職資格:
1. 2年以上數(shù)據(jù)倉(cāng)庫(kù)工作經(jīng)驗(yàn);
2. 熟悉數(shù)據(jù)庫(kù)、etl、bi建模等工具;
3. 良好編程習(xí)慣,以及較強(qiáng)的學(xué)習(xí)能力和溝通能力。
第13篇 數(shù)據(jù)倉(cāng)庫(kù)顧問崗位職責(zé)任職要求
數(shù)據(jù)倉(cāng)庫(kù)顧問崗位職責(zé)
數(shù)據(jù)倉(cāng)庫(kù)實(shí)施顧問 oracle甲骨文 甲骨文(中國(guó))軟件系統(tǒng)有限公司 ? 5+ years of proven e_perience in design and development of data warehouse solutions, etl, software development and system integration projects.
? data migration in large and comple_ environments
? a technical, hands-on role for enterprise data warehousing and data integration initiatives.
? good e_perience in data modeling and data architecture.
? strong understanding of dw concepts / design and implementation.
? understanding of conceptual, logical, and physical data modeling.
? good understanding of service oriented architectures , application frameworks and system integration methods.
? e_perience of full lifecycle development projects.
? development e_perience with oracle database technologies, strong pl / sql skills.
? building of operational data stores ( ods ), data marts, enterprise data business and technical metadata management.
? data analysis and data model development ( i.e. logical and physical models )
? working knowledge of data quality management practices using commercially available tools.
? familiarity with data governance concepts and processes.
? enterprise data integration e_perience in leading eai / etl tools and olap tools.
? familiarity with master data management concepts.
? business intelligence e_pertise and technical skills to successfully deliver solutions.
? good communication skills and technical documentation)
? ability to organize prioritizes work, meet deadlines and work independently.
? ability to handle multiple projects and activities in a timely, organized manner
第14篇 數(shù)據(jù)倉(cāng)庫(kù)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)今日頭條的用戶產(chǎn)品線的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量,與數(shù)據(jù)工具團(tuán)隊(duì)緊密合作;
3、理解并合理抽象業(yè)務(wù)需求,發(fā)揮數(shù)據(jù)價(jià)值,與業(yè)務(wù)團(tuán)隊(duì)緊密合作。
任職要求:
1、精通數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論、深入了解數(shù)據(jù)倉(cāng)庫(kù)體系,并支撐過實(shí)際業(yè)務(wù)場(chǎng)景;
2、具備較強(qiáng)的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項(xiàng),有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn);
3、對(duì)數(shù)據(jù)敏感,認(rèn)真細(xì)致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn);
4、善于溝通,具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力。
第15篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)(高級(jí))工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)今日頭條的用戶產(chǎn)品線的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量,與數(shù)據(jù)工具團(tuán)隊(duì)緊密合作;
3、理解并合理抽象業(yè)務(wù)需求,發(fā)揮數(shù)據(jù)價(jià)值,與業(yè)務(wù)團(tuán)隊(duì)緊密合作。
任職要求:
1、精通數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論、深入了解數(shù)據(jù)倉(cāng)庫(kù)體系,并支撐過實(shí)際業(yè)務(wù)場(chǎng)景;
2、具備較強(qiáng)的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項(xiàng),有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn);
3、對(duì)數(shù)據(jù)敏感,認(rèn)真細(xì)致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn);
4、善于溝通,具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力。
第16篇 數(shù)據(jù)倉(cāng)庫(kù)崗位職責(zé)
資深數(shù)據(jù)倉(cāng)庫(kù)工程師(嚴(yán)選)-郵件事業(yè)部172 網(wǎng)易集團(tuán) 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司,杭州網(wǎng)易,網(wǎng)易,網(wǎng)易杭州,網(wǎng)易游戲,網(wǎng)易網(wǎng)絡(luò),網(wǎng)易集團(tuán),網(wǎng)易 工作職責(zé):
1. 負(fù)責(zé)電商數(shù)據(jù)倉(cāng)庫(kù)搭建、etl開發(fā)與維護(hù);
2. 完成數(shù)據(jù)統(tǒng)計(jì)、編寫計(jì)算任務(wù)、接口開發(fā);
3. 參于數(shù)據(jù)規(guī)范制定、文檔編寫。
任職要求:
1.本科以上學(xué)歷,軟件工程/計(jì)算機(jī)/通信/數(shù)學(xué)等相關(guān)專業(yè);
2.熟悉hive sql語言,熟悉shell, python等至少一種腳本語言;
3.有hadoop、spark、flink等至少一種大數(shù)據(jù)平臺(tái)的使用經(jīng)驗(yàn);
4.理解能力強(qiáng),善于溝通,有責(zé)任心和團(tuán)隊(duì)精神;
5.有數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、商業(yè)數(shù)據(jù)分析、增長(zhǎng)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。
第17篇 資深數(shù)據(jù)倉(cāng)庫(kù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé)
1、基于公司數(shù)據(jù)建設(shè)需要,完成數(shù)據(jù)內(nèi)容開發(fā)等工作,維護(hù)與完善數(shù)據(jù)模型各類信息;
2、負(fù)責(zé)各業(yè)務(wù)線系統(tǒng)的信息調(diào)研、表與字段的關(guān)系梳理,根據(jù)業(yè)務(wù)及日常需求來優(yōu)化模型;
3、工作中對(duì)數(shù)據(jù)平臺(tái)基礎(chǔ)設(shè)施、數(shù)據(jù)內(nèi)容建設(shè)等工作主動(dòng)深度思考,提升效能、促進(jìn)組織和系統(tǒng)發(fā)展;
4、負(fù)責(zé)核心數(shù)據(jù)倉(cāng)庫(kù)模型代碼開發(fā),跟進(jìn)etl的完成。負(fù)責(zé)接入源系統(tǒng)數(shù)據(jù)的腳本開發(fā)、數(shù)據(jù)測(cè)試與驗(yàn)證、以及調(diào)度開發(fā)等工作;
5、與上游系統(tǒng)與下游應(yīng)用同事溝通協(xié)作,推動(dòng)各類需求在數(shù)據(jù)模型中的落地;
6、跟蹤、監(jiān)測(cè)、維護(hù)及優(yōu)化數(shù)據(jù)模型,確保數(shù)據(jù)模型被使用。
任職資格
1、本科以上學(xué)歷,5年或以上金融行業(yè)數(shù)據(jù)類工作經(jīng)驗(yàn);
2、熟悉hadoop生態(tài)系統(tǒng)組件,如:hive、mapreduce、spark、hbase等;具備編寫、優(yōu)化復(fù)雜sql的能力;
3、負(fù)責(zé)過大型數(shù)據(jù)平臺(tái)或數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì),具有扎實(shí)的大數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)的理論功底;
4、掌握一定的數(shù)據(jù)質(zhì)量管理方法論、評(píng)估模型設(shè)計(jì)、質(zhì)量報(bào)表設(shè)計(jì),能夠根據(jù)數(shù)據(jù)質(zhì)量要求制定數(shù)據(jù)質(zhì)量探查規(guī)則并進(jìn)行實(shí)施;
5、掌握一定元數(shù)據(jù)管理方法論、元數(shù)據(jù)管理設(shè)計(jì)。
6、能夠圍繞業(yè)務(wù)和產(chǎn)品特征建模并解決問題;
7、具有豐富的數(shù)據(jù)實(shí)踐經(jīng)驗(yàn);
8、基于公司數(shù)據(jù)建設(shè)需要,完成數(shù)據(jù)內(nèi)容開發(fā)等工作,維護(hù)與完善數(shù)據(jù)模型各類信息。
第18篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師-lark職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)創(chuàng)新工具核心業(yè)務(wù)模塊數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建;
2、負(fù)責(zé)數(shù)據(jù)模型的設(shè)計(jì),etl實(shí)施、etl性能優(yōu)化、etl數(shù)據(jù)監(jiān)控以及一系列技術(shù)問題的解決;
3、負(fù)責(zé)構(gòu)建用戶主題、各業(yè)務(wù)線主題、推薦主題、企業(yè)bi門戶系統(tǒng);
4、負(fù)責(zé)全產(chǎn)品線數(shù)據(jù)字典維護(hù),提升數(shù)據(jù)資產(chǎn)質(zhì)量。
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷,三年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn),數(shù)據(jù)挖掘和bi分析領(lǐng)域優(yōu)先;
2、熟練掌握hive/sql,熟悉spark/map-reduce/mpi分布式計(jì)算框架,熟悉大數(shù)據(jù)的離線和實(shí)時(shí)處理,可以進(jìn)行海量數(shù)據(jù)模型的設(shè)計(jì)、開發(fā);
3、有產(chǎn)品sense,主動(dòng)思考基于業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)體系建設(shè);
4、工作認(rèn)真,負(fù)責(zé),良好的團(tuán)隊(duì)合作精神和解決問題分析能力。鉆研技術(shù)克服困難,勇于挑戰(zhàn);
5、有數(shù)據(jù)分析經(jīng)驗(yàn)優(yōu)先。
第19篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師-創(chuàng)新工具職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)創(chuàng)新工具核心業(yè)務(wù)模塊數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建;
2、負(fù)責(zé)數(shù)據(jù)模型的設(shè)計(jì),etl實(shí)施、etl性能優(yōu)化、etl數(shù)據(jù)監(jiān)控以及一系列技術(shù)問題的解決;
3、負(fù)責(zé)構(gòu)建用戶主題、各業(yè)務(wù)線主題、推薦主題、企業(yè)bi門戶系統(tǒng);
4、負(fù)責(zé)全產(chǎn)品線數(shù)據(jù)字典維護(hù),提升數(shù)據(jù)資產(chǎn)質(zhì)量。
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷,三年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn),數(shù)據(jù)挖掘和bi分析領(lǐng)域優(yōu)先;
2、熟練掌握hive/sql,熟悉spark/map-reduce/mpi分布式計(jì)算框架,熟悉大數(shù)據(jù)的離線和實(shí)時(shí)處理,可以進(jìn)行海量數(shù)據(jù)模型的設(shè)計(jì)、開發(fā);
3、有產(chǎn)品sense,主動(dòng)思考基于業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)體系建設(shè),而不單單只會(huì)做執(zhí)行;
4、工作認(rèn)真,負(fù)責(zé),良好的團(tuán)隊(duì)合作精神和解決問題分析能力。鉆研技術(shù)克服困難,勇于挑戰(zhàn);
5、有分析經(jīng)驗(yàn)的優(yōu)先。
第20篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的模型規(guī)劃設(shè)計(jì)工作;
2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)etl規(guī)則設(shè)計(jì)、數(shù)據(jù)映射工作;
3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)需求調(diào)研、業(yè)務(wù)溝通;
4、負(fù)責(zé)業(yè)務(wù)模型抽象和數(shù)據(jù)模型的設(shè)計(jì)開發(fā)。
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
2、5年以上數(shù)據(jù)倉(cāng)庫(kù)建模經(jīng)驗(yàn);
3、熟悉etl、數(shù)據(jù)倉(cāng)庫(kù)開發(fā)及相關(guān)技術(shù),熟悉hive等主流數(shù)據(jù)庫(kù)技術(shù),精通sql開發(fā)與優(yōu)化;
4、熟練掌握維度建模理論,有能力分析業(yè)務(wù)數(shù)據(jù),完成數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì);
5、有實(shí)時(shí)數(shù)據(jù)處理開發(fā)經(jīng)驗(yàn)(如flink/sparkstreaming/storm)優(yōu)先;
6、對(duì)apache kylin以及其他olap技術(shù)深入了解者優(yōu)先;
7、工作態(tài)度踏實(shí)認(rèn)真、積極主動(dòng),可接受較高強(qiáng)度工作,具備良好的溝通能力和協(xié)調(diào)能力。