嘉佑三年，司馬光出任開封府推官，京城皇親國戚、勢官大臣、豪強奸猾錯雜其間，是有名的難治地方，他不徇私情，秉公辦事，疾惡揚善，清廉自守，去奢從儉，一府安然。

熙寧、元豐年間，司馬光居洛陽，洛陽為北宋西京，王公大族的亭臺樓閣華麗無比，高聳入云。而司馬光家在一陋巷中，房屋是僅能避風雨的茅檐草舍。三九寒天，大雪紛飛，因室內(nèi)無炭火，客人凍得瑟瑟發(fā)抖，司馬光很抱歉，只好吩咐熬碗栗子姜湯給客人去寒。歸來后，客人十分感慨。盛夏，屋中又酷熱難熬。司馬光無奈，只好在室中挖地丈余，以磚砌成一室居住。當時洛陽流傳一句民諺：“王家鉆天，司馬入地”。

司馬光的一生，官不可謂不高，祿不可謂不厚，然而他“于物澹然無所好”。為官雖然近五十年，可洛陽只有田三傾，妻子去世時，只得賣田以葬，自己“惡衣菲食以終其身”。司馬光個人生活也十分儉樸，平時“家居食不敢常有肉，衣不敢有純帛”。年老體弱時，其友劉賢良擬用50萬錢買一女婢供其使喚，司馬光當即復書謝絕，說：“吾幾十年來，食不敢常有肉，衣不敢有純帛，多穿麻葛粗布，何敢以五十萬市一婢乎？”

司馬光在《訓儉示康》中寫“有德者，皆由儉來也”，“由儉入奢易，由奢入儉難”，告誡兒子司馬康，讀書要認真，工作要踏實，生活要簡樸。司馬康沒有辜負他的期望，一生為人廉潔，口不言財。

司馬光一生光明磊落，潔身自好，一生儉樸，堪稱一代廉士，“天下以為真宰相”，為人所景仰。