剛畢業的 Junior Data Engineer 要會什麼呢？其實我在面試時就一直在思考 Jr. DE 確切要會什麼？DE 跟 DS 比較不同，DS 的專業知識比較容易在學校中習得，但是 DE 的概念要實作其實挺困難的 XD 有的話大概也是 Airflow 等工具居多。當初面試新人時一直在思考，問他雲端架構，除非新人當初碩士的實驗室很有錢有機會讓他玩 GCP 等等的，不然好像很難會。問地端架構，除非實驗室的 Server 等等都是他架設的，不然好像也不容易。說問他 Airflow 等等自動化流程，好像在公司中才比較常用到。到後來，我們決定朝向資料庫、資料清洗、Data Pipeline 概念等等方向走，考核重點變成更多在想法、Mindset 上。各位有建議的 Junior DE 必備技能嗎，歡迎分享！

串文

2025-01-21 07:16

讚

290

回覆

轉發

作者

Morris
chiensheng1214

粉絲

1,846

串文

173+

讚

回覆

轉發

24小時粉絲增長

發文前

1,581

發文後24小時

1,832

變化

+251 (15.88%)

互動率

(讚 + 回覆 + 轉發) / 粉絲數

17.71%

回覆 (BETA)

最先回覆的內容
發文後	用戶	內容
2 小時內	ChatGPT開發 \| 行銷實戰 \| 開發者筆記 \| Mitch i.g._.mitch	因為現在的問題基本上都能問 chatGPT 所以應該要更著重在如何解決一個問題上而不是會多少工具回歸到 junior DE ，我認為至少應該具備以下能力 1. 資料庫設計，資料清洗，data pipeline (基礎項) 2. 主動釐清模糊問題的能力，不是盲目猜測對方需求 (基礎項) 3. 基礎雲端知識，例如AWS S3有沒有碰過 (加分項) 我的話我會考一下幾個問題 (可以問 chatGPT, 帶回家做也可以) 題目：設計一個簡單的寵物預約系統，需包含以下功能： - 客戶資訊儲存 - 商品資訊儲存 - 訂單資訊儲存 - 預約功能儲存並提供以下資訊 1. 設計資料表結構（包含主鍵、外鍵）。 2. 簡單描述資料表之間的關聯。 3. 考慮資料庫的正規化，避免冗餘。題目雖然看起來很簡單但裡頭有很多眉角部分例如: 他有沒有想到用戶註冊時會是一般註冊，三方註冊是否有權限管理資料量級多少 (QPS) 而當收到答案後可以接續後續對談基本上可以篩選掉90%以上的雷供參考
2 小時內	資料科學家的工作日常 ❙ 維元 ___dsdaily___	學會追蹤 @chiensheng1214 大大！
7 小時內	An-Chi Liu liu_an_chi	我建議新人應該最需要熟練「資工基本素養」，也就是在談論更高深技術之前，你首先得會最基本的軟體開發知識與工具，詳情請見我的新書《程式設計原來不只有寫 CODE！》 https://tigercosmos.xyz/books/beyond-just-coding-book.html
10 小時內	Kirkman tazmaniatornado	Must have : Python, SQL, cloud platform knowledge, data lake Nice to have / heard of : dbt, airflow, ETL tools, cloud DW (any), streaming, delta table or iceberg value add
14 小時內	論盡物理 phycosmo	如果從mindset入手，或者可以問設想場景問題，如甚麼應用系統/時候會需要用到streaming vs batch processing、如何partitioning data，或處理data pipeline parallelisation會先考慮甚麼利申：我不是DE，但做了幾年"full-stack" DS有少許DE經驗