司马迁自称其先祖是颛顼时期的天官，《史记·太史公自序》记载“昔在颛顼，命南正重司天，火正黎司地。唐、虞之际，绍重、黎之后，使复典之，至于夏、商，故重、黎氏世序天地。”周宣王时期，司马迁的祖上来到秦国。

他的直系八世祖先是战国中后期秦国名将司马错。秦惠文王时期，司马错曾经在朝堂上与张仪辩论，辩论内容被收入《战国策·秦策》，后收入《古文观止》，名为《司马错论伐蜀》。辩论胜利后，秦惠文王派司马错等人出兵巴蜀，得胜而守之。六世祖司马靳(司马错次孙)为名将武安君白起副手，参与长平之战，坑杀赵卒四十万人，司马错、司马靳等军事之功为秦国奠定了一统天下的军事基础。高祖司马昌是秦始皇的铁官。曾祖司马无泽，在汉初作长安的一个“市长”(管理市场)。祖父司马喜，没有做官，而有第九等爵位，为五大夫。

司马迁的父亲是西汉武帝时期太史令司马谈。司马谈是当时一位非常杰出的学者，著有《论六家要旨》一文，系统总结了春秋战国秦至汉初以来阴阳、儒、墨、法、名、道各家思想的利弊得失，并对道家思想进行了高度肯定，该文是对春秋战国以来的诸子百家思想的高度概括和凝练总结。司马谈在约汉武帝建元六年至元封元年间任太史令。

公元前110年（元封元年），汉武帝举行大规模的巡行封禅，步骑十八万，旌旗千余里，浩浩荡荡。司马迁的父亲司马谈是史官，司马谈这时候却病了，经过汉武帝的允许留在洛阳养病，正好司马迁从长安匆匆赶去追随汉武帝，在洛阳见到了他奄奄一息的父亲司马谈。

司马迁在为《史记》写的“自序”里，详细记录了司马谈在“河、洛之间”对他说的那番语重心长的遗嘱。司马谈说：余先，周室之太史也，自上世尝显功名于虞、夏，典天官事，后世中衰，绝于予乎？汝复为太史，则续吾祖矣。今天子接千岁之统，封泰山，而余不得从行，是命也夫，命也夫！余死，汝必为太史。为太史，无忘吾所欲论著矣。且夫孝始于事亲，中于事君，终于立身，扬名于后世，以显父母，此孝之大者。夫天下称颂周公，言其能歌文、武之德，宣周、邵之风，达太王、王季之思虑，爰及公刘，以尊后稷也。幽厉之后，王道缺，礼乐衰，孔子脩旧起废，论《诗》、《书》，作《春秋》，则学者至今则之。自获麟以来，四百有余岁，而诸侯相兼，史记放绝。今汉兴，海内一统，明主贤君忠臣死义之士，余为太史而弗论载，废天下之史文，余甚惧焉，汝其念哉！

司马迁俯首流涕，对父亲发誓说：“我虽不聪敏，请容许我把您已记录编排过的有关过去的传闻，完整地书写出来，绝不敢有缺漏。”洛阳相会，就这样成为这一对钟情于历史学的父子之间的生死之别。