沈從文的家族中,父系有軍人傳統,母系是詩書人家。祖父沈宏富為湘軍將領,做過一任貴州提督,《清史稿》有記載。他因傷病去世,無子女,過繼其弟沈宏芳與苗族劉姓女子所生的沈宗嗣為子。沈宗嗣一心做將軍夢,但到八國聯軍起兵大沽口失守時,他仍是個裨將。沈宗嗣娶土家族女子黃素英為妻。黃父黃河清是貢生,本地守文廟的書院山長。黃素英識文斷字,會開醫方,會照相,她的哥哥是著名畫家黃永玉的祖父。沈、黃生有三子二女,沈從文為第二子,人稱沈二哥。他說:「我的氣度得於父親影響的較少,得於媽媽的也就較多。」
1928年沈從文(左一)與母親(中)、大哥(右一)、六弟(左二)、九妹(右二)在上海合影