司馬遷的家世源遠流長，司馬談為《史記》的完成奠定了良好的基礎
談起司馬遷的祖先可以上溯到上古的傳說時代，據說那時有一段時期，人和神是生活在一起的，無法分辨誰是人誰又是神。大家都在祭祀，每個人似乎都能通神。直到顓頊成為首領，才結束了這種混亂的局面，他命令重掌管天上的事兒，給眾神排個次序，各就其位；又命令黎掌管地上的事兒，使人們不互相侵犯，各安其業。
實際這兩種職責在上古的時代是一個人擔任的稱為巫史，代表著天神，指導人們生活的方方面面。 後來社會發展了，事情逐漸繁雜起來，於是在顓頊時代巫與史才分開。重與神保持聯絡稱為巫，黎負責記錄人們狩獵、戰爭、祭祀之類的大事，稱為史。自此以後，從唐虞到夏商，重、黎的後人便世世代代守著這份差使。莉了周朝，專門的史官便被普遍地建置了。不過，周宣王時，重、黎的後人程伯休甫失掉這份祖傳的職位，做了司馬這個官，從此就以司馬為姓氏。司馬遷認為他的始祖就是重、黎。他撇開了祖先作巫的歷史，而為擁有一個悠久的史官家世感到自豪。
春秋戰國之後，司馬氏這族中就沒有人做史官了，而是分散到各個諸侯國，歷任其它的官職。司馬遷出身的這一支，由周去了晉，又遷到少梁，秦惠文王時出了個司馬錯，曾經和張儀就進攻蜀國還是韓國發生爭論。他眼光獨到，從經濟的角度詳細分析了討伐蜀地的好處，成功地說服了秦惠文王，並親自掛帥，取得勝利。論功行賞，秦惠文王讓他作了蜀郡守。司馬錯的孫子司馬靳曾經在秦國名將白起的部下，參加了長平之戰，這場戰鬥在歷史上很有名，趙國計程車卒被殺了有45萬人，趙從此一蹶不振。後來白起得罪了秦昭襄王，被賜死。作為白起十分親近的老部下，司馬靳也被逼自殺。司馬靳有個孫子名昌，秦始皇時代作過管鐵礦的官。昌的九子無澤，做過漢市長。無澤的兒子喜，得到了一個“五大夫“的爵位，意思是“大夫的尊嚴”，這個爵位很小。司馬喜就是司馬遷的祖父。
司馬遷的家世可以稱得上是源遠流長，但是卻過於久遠，記載也太簡略了，況且他的祖先除司馬錯和司馬靳以外，其他人都寂寂無名，沒能在歷史上留下印記。因而對他影響最大的只是他的父親司馬談。司馬談非常羨慕自己的遠祖，很早就有志當一名史官，他虛心地向當討著名的學者唐都學習觀測日月星辰的天文知識，向楊何求教研究陰陽吉凶的《易經》。這兩種學問是當時作為一名史官所必備的。在漢武帝建元年間，司馬談終於學以致用，成為一名史官，當時人稱太史令。太史令官階很低，上至皇帝，下至黎民百姓，都不太重視他。但是司馬談並沒有因為地位低下而氣餒，他利用職務的便利開始蒐集整理各種文獻、典籍，為撰寫一部偉大的歷史著作而努力工作著。司馬談的努力一定是相當有成就的，雖然現在我們僅能看到他的一篇論文一《論六家要旨》，但卻已經被他深厚的學識和敏銳的眼光所折服。在《論六家要旨》一文中，他初步整理和總結了上古的學術思想，將它們分為陰陽、儒、墨、名、法、道六家。然後進行科學地分折，指出各家的得失，提出了中肯的批評。其中，他極為推崇道家的學說，這種觀點顯然深深地影響了他的兒子司馬遷，因為在司馬遷的鉅著《史記》中，常常流露出道家的觀點。
司馬談作了三十年的太史令，蒐集、記錄了大量的歷史資料，並且已經開始著手寫書了。這些工作為司馬遷後來自作《史記》奠定了良好的基礎。或許《史記》中的一些篇目竟就是這位老先生的手筆呢！可惜他因病過早地離開了人世，將自己畢生的理想和計劃遺留給他的兒子司馬遷去實現。
