張光直早年的生活鮮為人知。他的出生與童年都在北京，十五歲時返回台灣，自承是「芋仔」，也是「蕃薯人」。他在建國中國求學時，經歷過二二八，後來又因「四六事件」的牽連而入獄。這段可說是冤獄的囹圄歲月，影響了他「一生做人的態度。」他說：「我在當時坐了一年的牢，接觸到各式各樣的人，出來以後，對人之為人發生了很大的興趣。」他出獄後未再回校就讀，憑著自學以同等學力投考台大考古人類學系，為的就是要瞭解「人之所以為人」。
張光直透過這本回憶錄，為我們記下這段影響他一生至鉅的青澀歲月，書中詳細描述了「四六事件」的經過，同時也對其家人、朋友多所追憶。台灣四、五十年代的政治氛圍與社會環境，也藉由他自由式的陳述完全烘托出來。他的一字一句，發乎至誠，在他眾多學術作品之外，這部《蕃薯人的故事》讀來尤其令人動容。