关于蔡文姬的身世，历史上大多沿袭史书《后汉书·董祀妻传》的说法。
蔡文姬最初嫁与河东卫仲道，后丈夫去世且又无儿无女，就回到娘家。兴平时期，天下大乱，蔡文姬被胡骑掠去，在南匈奴左贤王处生活了１２年，并生有二子。
据《后汉书·董祀妻传》记载：“曹操素与邕善，痛其无嗣，乃遣使者以金璧赎之，而重嫁于祀。”
从上述史料得知，蔡文姬乃天下名儒蔡邕的独生女。曹操是看在蔡邕的面子，才出资将蔡文姬从匈奴手中赎回。有关文姬归汉的情节，郭沫若先生在其话剧《蔡文姬》中亦有所披露。
但是，一些历史学家则对蔡文姬的身世有所怀疑。
据《晋书》记载，蔡邕因仗义直言，闯下大祸，被“室家徙放，老幼流离”至五原，在五原又因得罪太守，被诬陷“谤讪朝政”，险遭杀身之祸。迫不得已，举家逃离到魏国上党太守羊道家避难。蔡、羊两家有此患难之交，不久，蔡邕将一女嫁给羊道为妻。羊道夫妻生下一子一女，女儿羊徽瑜长大后嫁司马懿长子司马师，后成景献皇后；儿子羊祜，成为西晋初着名军事家、征南大将军。
另据《羊祜传》记述，羊祜征吴有功，本应加封，但他却执意要将封赏转赐给舅父的儿子蔡袭。这羊祜的舅父就应该是蔡文姬的兄弟了。
因此，有人指出，蔡文姬在丧夫后随父避难于山东羊道家，怎会被胡骑掠去呢？
另据史学家考证，当时蔡邕为董卓强迫，拜为左中郎将。而文姬在其《悲愤诗》中称，她是被董卓的军队所掳掠，这种礼遇其父、掳掠其女的行为，怎么令人相信呢？
因此，人们才怀疑文姬与蔡邕的父女关系。