至少从传说中的有巢氏教人构筑房屋时起，汉族人就习惯居住在土木建成的房屋里。
惟一的例外是，当大军远征时，只得在旷野上临时搭起的帐篷内休息。这种帐篷，古代即称“幄幕”。
汉朝时统帅率军出征，有权自行招聘、选任文职僚属，设置府署，帮助处理军政事务，称为“开府”。由于这类府署设于幄幕中，所以又叫“幕府”，而统帅左右的僚属，也因之被称为“幕僚”、“幕职”。幕僚种类繁多，有相当于近代参谋长、统帅司令部工作的“长史”;有参议军机，帮助指挥军事行动的“参军”;有类似近代副官、秘书，管理文书及各类档案的“主簿”、“记室”，等等。
到了三国两晋南北朝时，战乱频仍，四处皆为战区，各地都实行“军管”，地方长官由武官兼任，将军左右的僚属也就从单纯的军官转变为辅将军“上马管军、下马管民”的文武兼任官职了，且文职比重往往超过武职。这一习惯传到唐宋时代：唐代地方最高行政机关州、府衙门都设有长史、参军、录事等官职，号称“幕僚”;宋代诸州也专设“幕职官”。不过这些官职早已与军事行动无关，也不供职于狭义的幕府。
直到明清时期，狭义的幕僚仍指服务于军事机构的文职官员。如明代小说《初刻拍案惊奇》卷二十六《夺风情村妇捐躯假天语幕僚断狱》中的“幕僚”，指四川省都指挥使司(一省最高军事长官及其指挥机构)下属的断事官(军事审判官)，当时这位断事官正代理四川成都府汶川县县官的职位。
幕僚现象的再度兴盛：当老板的自己花钱聘用私人，我做官，你做事;又因为你是我花钱雇来的，所以你做事，我放心，也成了“自家人”。幕僚一般都有专门知识，甚至可能是“最新的知识”，在某个专业领域占有许多资料，了解许多情况，他们饱读专业经典，说起来头头是道，写起来洋洋洒洒，出谋划策，无所不能。但是由于其角色的特殊性，地位的暧昧性决定了其进退荣辱都将取决于是否能取悦在朝者，由此他在进言时便会不言而喻地考虑自身的处境、前程之类，要想做到直言无忌本已很难，加上每个人知识、见识、思想、眼光等的局限性，他们的建议、意见便有了许多的水份。
