南燕后来被东晋所灭,随着刘裕代晋,又成了南朝宋的领土,后来北魏夺取了青州,在北魏分裂成东西魏,进而变成北周和北齐时,青州又归了北齐.
房彦谦出生时,正是北齐年间,他从小就没了父亲,从小在舅舅家长大,长兄房彦询很惊奇于这个弟弟从小就表现出的过人才华,亲自教他读书认字,房彦谦七岁时就能背几万字的书,让房氏宗族都惊异于这个孩子的天赋.
房彦谦后来跟随博士尹琳学习,手不释卷,通览经史,文章书法都是一时之绝,十八岁的时候就被北齐的广宁王,齐州刺史高孝珩征召为州主薄.
当时已是北齐末年,由于君昏臣庸,文恬武嬉,北齐境内已经是一副末世之像,多数州郡都是贪官污吏横行,盗匪遍地都是,法令废驰.而房彦谦所在的齐州却是一片清平世界,法令公正严明,无论是吏民都对这位年轻的房主薄敬畏不已.
北周攻破北齐都邺城(相州)后,房彦谦痛惜国家的灭亡,不甘心做亡国臣子,还准备召集州郡中的豪杰壮士,图谋复国.只是后来北齐各地守官都迅速投降,房彦谦一看大势不可挽回,只得作罢,解散乡勇,自己回归乡里.
北周灭北齐后,周武帝任命了柱国辛遵为齐州刺史,来接管齐州,可是路上被盗贼所劫持,房彦谦听说此事后,给那盗贼首领写了封信,晓以利害.那盗贼一向敬仰房彦谦,收到信后便把辛遵送回了州衙门,还带着附近的大小盗匪首领一起自首.
房彦谦在北齐灭亡一直到我大隋代周的这段时间里,都是闲居乡里,不肯出来做官.直到开皇七年的时候,由于齐州刺史韦艺的一再推荐,房彦谦盛情难却,只得出来做官,担任监察御史,专门负责巡视全国各地的州郡,考察州郡长官的施政得失.
高熲当时担任尚书左仆射,也直接负责这些监察御史的管理与考核.房彦谦曾经在述职的时候引经据典,结合自己在巡查过程中的心得体会,对御史工作进行非常深刻的分析与总结,让一代名相高熲听到以后都叹服不已.
在那次对话中,高熲向房彦谦询问了他所巡视的陇西秦州一带十余个州的情况.房彦谦对每个州郡的钱粮赋税,地理人口和风土人情都是如数家珍.来高熲在召见这些州郡的刺史,司马们集体述职的时候,这些人对本州郡情况的了解还不如房彦谦来得详细,致高熲叹息道:"与诸公谈事,还不如去问房御史呢."
房彦谦在官场之上没有太多的功名心,一直淡泊名利,也没有足够强大的靠山,加之是北齐忠臣,一直被皇上所忌惮.高熲曾经向皇上举荐过房彦谦,杨坚却没有对他委以重任,只是让他去长葛当了个县令."