Threadser.net
數據
關鍵字
功能建議
Following
Threads
Change language
登入
串文
串文鏈結
2024-10-26 12:00
總於慢慢學會 full stacked development。 花了整7小時 debug,雖然這是localhost setup Hadoop而已,並非production mode。 難度: Backend: 很多設定問題有關係到Apache Hive。而且library很多限制,SQL syntax有點變化 。在數據parse方面要百分百正確,不然JSON response的data不符合規格,造成一對數據bugs。 Front end: 讀取JSON數據要正確處理,不然全部數據跑偏。奇奇怪怪的數據出現在錯誤的column,甚至沒有數據。 Database: Hadoop, Hive setup 搞了2個月,才弄好設定。現有還是一堆不明確的bug。因為需要Linux 跟Hadoop ecosystems的知識,造成非常困難去設定。官方文件也沒有明確的指示去做。基本全部東西要手動設定。
讚
21
回覆
6
轉發
2
作者
Frederick Yip
frederickyip
粉絲
117
串文
362+
讚
回覆
轉發
24小時粉絲增長
發文前
82
發文後24小時
86
變化
+4 (4.88%)
互動率
(讚 + 回覆 + 轉發) / 粉絲數
24.79%
回覆 (BETA)
最先回覆的內容
發文後
用戶
內容
18 小時內
Ben Cheng
ben3905.photo
自學為什麼會用hadoop?🧐
一天內
James Huang
james_dataguy
很想知道你在哪裡玩Hive and Hadoop?