大數據相關的崗位近年來增長不少，有不少朋友都在轉這個方向，下面是最近整理的大數據技術知識庫，供大家參考：
【資料圖】
大數據技術知識庫 2022
計算機組成原理
雖然很多人只要會寫 SQL 就能找到工作了，但畢竟上升的天花板很有限，技術往深了研究，逃不開計算機硬件本身的原理，建議大家盡可能熟悉一些計算機硬件系統的組織結構和工作原理。
起碼要能分得清啥是「內存」，啥是「硬盤」...
「公開課」
《計算機組成原理》課程，哈爾濱工業大學，劉宏偉，國家級精品課程: https://www.bilibili.com/video/BV1t4411e7LH/「付費課」
《深入淺出計算機組成原理》，徐文浩 bothub 創始人: http://gk.link/a/11F9P「推薦書」
《計算機組成原理》: https://u.jd.com/UI14dUf《深入理解計算機系統》: https://u.jd.com/UMgEXSa操作系統
操作系統（Operating System，簡稱OS）是管理和控制計算機硬件與軟件資源，直接運行在“裸機”上的最基本的系統軟件，任何其他軟件都必須在操作系統的支持下才能運行。操作系統是用戶和計算機的接口，同時也是計算機硬件和其他軟件的接口。操作系統的功能包括管理計算機系統的硬件、軟件及數據資源，控制程序運行，提供人機交互界面，為其它應用軟件提供支持等。
Hadoop、Kafka、Elasticsearch 等大數據相關組件，在運行前都需要調整操作系統的一些參數才能發揮更大的性能，涉及到性能相關的優化，避不開操作系統的知識。
「公開課」
《操作系統》課程，哈爾濱工業大學，李治軍: https://www.bilibili.com/video/BV1d4411v7u7/「付費課」
《趣談 Linux 操作系統》， 劉超 前網易杭州研究院云計算技術部首席架構師: http://gk.link/a/11F9U「推薦書」
《現代操作系統》: https://u.jd.com/UIg8tir數據結構與算法
計算機是現代社會中用于解決問題的重要工具，支撐這個工具高效運轉的就是其后的各種系統程序、應用程序。圖靈獎獲得者N.Wirth寫了一本經典著作“程序=算法+數據結構”。數據結構，是抽象的表示數據的方式；算法，則是計算的一系列有效、通用的步驟。算法與數據結構是程序設計中相輔相成的兩個方面，是計算機學科的重要基石。
不多說，這個是程序員的基礎課！
「公開課」
【尚硅谷】數據結構與算法（Java數據結構與算法）: https://www.bilibili.com/video/BV1E4411H73v「付費課」
《數據結構與算法之美》，王爭 前 Google 工程師: http://gk.link/a/11Fa7「推薦書」
《數據結構與算法分析：Java語言描述》: https://u.jd.com/UIgWiBF計算機網絡
大數據應用，背后都是由運行在多臺服務器上的多個服務組成的，服務與服務之間需要通過網絡來交流，熟悉計算機網絡能幫你快速解決大數據應用里許多莫名其妙的問題:)
「公開課」
中科大鄭烇、楊堅全套《計算機網絡（自頂向下方法 第7版》: https://www.bilibili.com/video/BV1JV411t7ow《計算機網絡》，哈爾濱工業大學: https://www.icourse163.org/course/hit-154005「付費課」
《趣談網絡協議》，劉超 前網易研究院云計算技術部首席架構師: http://gk.link/a/11Fa9「推薦書」
《計算機網絡：自頂向下方法》: https://u.jd.com/UKgZ6R0《計算機網絡》: https://u.jd.com/UIgJNgeLinux系統
幾乎所有大數據組件都運行在 Linux 上，得懂啊！
「公開課」
【尚硅谷】《3天搞定Linux，1天搞定Shell，清華學神帶你通關（2022版）》: https://www.bilibili.com/video/BV1WY4y1H7d3「付費課」
《Linux 實戰技能 100 講》，尹會生 前游戲公司技術總監，前新浪網技術經理: http://gk.link/a/11Fac《Linux 性能優化實戰》，倪朋飛 資深 Linux 專家，Kubernetes 項目維護者: http://gk.link/a/11Fad「推薦書」
《鳥哥的Linux私房菜 基礎學習篇》: https://u.jd.com/UwgWOO2《Linux命令行與shell腳本編程大全》: https://u.jd.com/UtgZTabJava
Hadoop、Spark、Flink，這些大數據組件的源代碼都用到了 Java，不懂點 Java 可能連 Hadoop 的報錯都看不懂。普通的 SQL 開發者與專家之間的區別，有一點就是：專家遇到了問題，懂得看源碼來解決；而普通開發者搜索搜不出來就只能干等著了。
「公開課」
【尚硅谷】《Java入門視頻教程》: https://www.bilibili.com/video/BV1Kb411W75N【尚硅谷】《宋紅康JVM全套教程》: https://www.bilibili.com/video/BV1PJ411n7xZ/「付費課」
《零基礎學 Java》，臧萌 PayPal 數據處理組技術負責人: http://gk.link/a/11Fco《Java 性能調優實戰》，劉超 前金山軟件技術經理: http://gk.link/a/11Fcp「推薦書」
《Java編程思想》: https://u.jd.com/UM3tXxr《Java核心技術》: https://u.jd.com/UKDR0ej《深入理解Java虛擬機：JVM高級特性與最佳實踐》: https://u.jd.com/UdDRSAZScala
Spark、Flink、Kafka 的核心代碼是通過 Scala 實現的，如果要掌握這些技術，免不了！
「公開課」
【尚硅谷】《大數據技術之Scala入門到精通教程》: https://www.bilibili.com/video/BV1Xh411S7bP「推薦書」
《Scala編程》: https://u.jd.com/UwDRTPo《Scala學習手冊》: https://u.jd.com/ULDAqvNPython
Python，著名「膠水語言」，易上手、靈活、有各種各樣的庫，做數據分析會用到。
「公開課」
【尚硅谷】《Python零基礎入門教程全套完整版》: https://www.bilibili.com/video/BV1hW41197sB「付費課」
《零基礎學 Python》，尹會生 前游戲公司技術總監，前新浪網技術經理: http://gk.link/a/11Fct「推薦書」
《Python學習手冊》: https://u.jd.com/UID7tS1《Python基礎教程》: https://u.jd.com/UK38KhPMySQL
寫 SQL 比直接寫 Java 或者 Scala 代碼要門檻低一些，Hive、Spark、Flink 都提供了 SQL 給大家使用。作「數據的搬運工」，寫 SQL 是大數據開發人員最容易上任的一項工作了。
通過 MySQL 來了解下傳統數據庫的原理，以及 SQL 的基本用法。
「公開課」
【尚硅谷】《MySQL數據庫教程天花板，mysql安裝到mysql高級，強！硬！》: https://www.bilibili.com/video/BV1iq4y1u7vj「推薦書」
《MySQL必知必會》: https://u.jd.com/UI3dyFN《深入淺出MySQL 數據庫開發 優化與管理維護》: https://u.jd.com/UL3t11U《高性能MySQL》: https://u.jd.com/Ud32q4G分布式系統
熟悉傳統數據庫的同學，如果不了解分布式數據庫的話，往往在使用大數據技術的過程中會感到很差異：為啥跑個 SparkSQL 這么慢，同樣的數據量，在單機 MySQL 里幾百毫秒就跑完了， Hadoop 用了10臺服務器還要這么久？同樣的 SparkSQL，昨天還能跑成功呢，今天咋就失敗了呢？
分布式系統，了解一下~
「公開課」
《【麻省理工學院—中文字幕】也只有MIT大佬才能把分布式系統講的明明白白，油管超人氣Java公開課》: https://www.bilibili.com/video/BV1CU4y1P7PE「付費課」
《深入淺出分布式技術原理》，陳現麟 伴魚技術中臺負責人，前小米工程師: http://gk.link/a/11Fcw《分布式系統案例課》，楊波 前攜程 / 拍拍貸技術總監，微服務技術專家: http://gk.link/a/11Fcx「推薦書」
《分布式系統：概念與設計》: https://u.jd.com/UM3yOfxNetty
Netty是一個高性能、異步事件驅動的NIO框架，它提供了對TCP、UDP和文件傳輸的支持，作為一個異步NIO框架，Netty的所有IO操作都是異步非阻塞的，通過Future-Listener機制，用戶可以方便的主動獲取或者通過通知機制獲得IO操作結果。
作為當前最流行的NIO框架，Netty在互聯網領域、大數據分布式計算領域、游戲行業、通信行業等獲得了廣泛的應用，一些業界著名的開源組件也基于Netty的NIO框架構建。
「公開課」
【尚硅谷】《Netty視頻教程》: https://www.bilibili.com/video/BV1DJ411m7NR「付費課」
《Netty 源碼剖析與實戰》，傅健 Netty 源碼貢獻者、Cisco 高級軟件工程師: http://gk.link/a/11Fcy「推薦書」
《Netty權威指南》: https://u.jd.com/Uw3tVMA《Netty實戰》: https://u.jd.com/UK3DLDWHadoop
Hadoop是大數據領域最成熟的技術了，雖然新技術層出不窮，但 Hadoop 就是死不了，每個公司搞大數據都逃不掉要用 Hadoop。
「公開課」
《尚硅谷大數據Hadoop教程》: https://www.bilibili.com/video/BV1Qp4y1n7EN【尚硅谷】《Hadoop3.x高可用集群，HDFS、Yarn集群》: https://www.bilibili.com/video/BV1EP4y1j7V1「付費課」
《從 0 開始學大數據》，李智慧 同程藝龍交通首席架構師，前 Intel 大數據架構師，《大型網站技術架構》作者: http://gk.link/a/11FlI《大數據經典論文解讀》，徐文浩 bothub 創始人: http://gk.link/a/11FlK「推薦書」
《Hadoop權威指南：大數據的存儲與分析》: https://u.jd.com/UK33txlHDFS
HDFS 是 Hadoop 中的分布式文件系統，基礎，必懂！
「推薦書」
《Hadoop技術內幕:深入解析HadoopCommon和HDFS架構設計》: https://u.jd.com/Ut38weSMapReduce
傳統的程序運行過程中，是把數據拿過來計算，而數據量太大的時候，把那么多的數據都挨個再「拿」過來，就不劃算了；大數據講究的是把計算移動到數據那里去「算」，這就是 MapReduce 要做的事兒。
「推薦書」
《MapReduce 2.0源碼分析與編程實戰》: https://u.jd.com/UM3yelSYarn
Yarn 是 Hadoop 中管理集群中所有服務器資源的資源調度框架，計算數據要用到服務器的 CPU 和內存，要多少合適呢？程序跑得快不快，跟 Yarn 給你分配的資源有很大關系。
「推薦書」
《Hadoop技術內幕 深入解析YARN架構設計與實現原理》: https://u.jd.com/UL3Ydc4Zookeeper
ZooKeeper 是一個開源的分布式協調服務，協調啥呢？比如，HDFS 安排了兩個 NameNode 組成 HA，但同一時刻，由哪個 NameNode 來當大哥呢？讓這倆 NameNode 都注冊到 Zookeeper 里，交給 Zookeeper 來決定！
「公開課」
【尚硅谷】《大數據技術之Zookeeper 3.5.7版本教程》: https://www.bilibili.com/video/BV1to4y1C7gw「付費課」
《ZooKeeper 實戰與源碼剖析》，么敬國 新東方集團首席架構師: http://gk.link/a/11FcB「推薦書」
《ZooKeeper：分布式過程協同技術詳解》: https://u.jd.com/Ut32vnjHive
不想寫 Java 代碼處理大量數據，只想寫幾行 SQL 算算，那就用 Hive 吧~
「公開課」
【尚硅谷】《大數據技術之Hive源碼編譯詳解》: https://www.bilibili.com/video/BV1x14y177Ab【尚硅谷】《大數據Hive高級進階教程》: https://www.bilibili.com/video/BV1Cb4y1r7p2「推薦書」
《Hive編程指南》: https://u.jd.com/UC3rlrv《Hive實戰》: https://u.jd.com/UL3yyRDSpark
Hive 原先是基于 MapReduce 實現的，慢！換 Spark 看看~
「公開課」
【尚硅谷】《大數據Spark教程從入門到精通》: https://www.bilibili.com/video/BV11A411L7CK【尚硅谷】《大數據Spark3.0調優，Spark3.x性能優化》: https://www.bilibili.com/video/BV1QY411x7xL「付費課」
《零基礎入門 Spark》，吳磊 FreeWheel 機器學習研發經理: http://gk.link/a/11FcC《Spark 性能調優實戰》，吳磊 FreeWheel 機器學習團隊負責人: http://gk.link/a/11FcD「推薦書」
《Spark權威指南》: https://u.jd.com/UK3rHSZ《Spark大數據商業實戰三部曲：內核解密 商業案例 性能調優》: https://u.jd.com/Uw3nw6bKafka
Kafka 是 LinkedIn 開發并開源的一套分布式的高性能消息引擎服務，后來被越來越多的公司應用在自己的系統中，可以說，Kafka 是大數據時代數據管道技術的首選。在設計的時候，它就實現了高可靠、高吞吐、高可用和可伸縮，得益于這些特性，加上活躍的社區，Kafka 成為了一個完備的分布式消息引擎解決方案。
歷經多年發展，Kafka 的功能和特性也在不斷迭代，如今的 Kafka 集消息系統、存儲系統和流式處理平臺于一身，并作為連接著各種業務前臺和數據后臺的消息中間件，在線上環境承擔了非常重要的作用。
「公開課」
【尚硅谷】《2022版Kafka3.x教程（從入門到調優，深入全面）》: https://www.bilibili.com/video/BV1vr4y1677k/「付費課」
《Kafka 核心技術與實戰》，胡夕 Apache Kafka Committer，老虎證券技術總監: http://gk.link/a/11FcG《Kafka 核心源碼解讀》，胡夕 Apache Kafka Committer，老虎證券技術總監: http://gk.link/a/11FcH「推薦書」
《Kafka權威指南》: https://u.jd.com/UL3DEDh《Kafka技術內幕 圖文詳解Kafka源碼設計與實現》: https://u.jd.com/UC3ytxR《深入理解Kafka：核心設計與實踐原理》: https://u.jd.com/Ut3vuX2Flink
目前大部分公司的大數據處理工作，使用的還是離線處理技術，但未來，流式計算必定會成為分布式計算的重要方向之一。如果你想要掌握一門具有前瞻性的流式計算處理技術，Flink 必然是你的首選。目前為止，開源界唯一真正同時做到低時延，數據一致性保障以及高吞吐的大數據處理技術，也只有 Flink。它可以在毫秒級的延遲情況下，實現每秒鐘處理上億次的消息或者事件。
「公開課」
【尚硅谷】《2022版Flink1.13實戰教程（涵蓋所有flink-Java知識點）》: https://www.bilibili.com/video/BV133411s7Sa「付費課」
《Flink 核心技術與實戰》，張利兵 第四范式數據中臺架構師，Apache Flink 貢獻者: http://gk.link/a/11FcI「推薦書」
《深入理解Flink核心設計與實踐原理》: https://u.jd.com/UC3Y9Wh數據倉庫
掌握了那么多開發技術，不就是老板要你建數倉嘛~
「公開課」
【尚硅谷】《大數據項目【電商數倉5.0】》: https://www.bilibili.com/video/BV1AT411j7hu【尚硅谷】《Flink實時數倉3.0》: https://www.bilibili.com/video/BV1TG411a7nL「推薦書」
《數據倉庫》: https://u.jd.com/UM3YZF8《Hadoop構建數據倉庫實踐》: https://u.jd.com/Ud3yCRC數據治理
建數倉只是第一步，數據得管理好才行~
「推薦書」
《數據管理&治理3部曲：一本書講透數據治理+DAMA數據管理知識體系指南+數據治理 全三冊》: https://u.jd.com/UC3Sfnc數據中臺
2016年至2020年間，數據中臺的概念很火，現在是落地的時候了，每個企業都不好忽悠，得為企業產生真正的利益才行~
「公開課」
《武凱說》: https://space.bilibili.com/39431579/channel/seriesdetail?sid=2158634「付費課」
《數據中臺實戰課》，郭憶 網易大數據專家: http://gk.link/a/11FcK「推薦書」
《數據中臺：讓數據用起來》: https://u.jd.com/UL33szb
