在人类社会早期，当时的人类认为死者的灵魂是不朽的，可以保护他们的后代，使他们繁荣昌盛。然后是对自然、器物、祖先的强烈崇拜，然后是英雄崇拜。其中，祖先崇拜最为虔诚，经久不衰。赵翼的祖先崇拜产生了人类的孝道观念，最终表现为祖先崇拜。祠堂、家庙是各种祭祖活动的场所。

根据《中华文化通志制度文化典》中的《宗族志》记载，祠堂制度出现于商代，也有一套祭祖的规定。由于实行宗法制，统治阶级极力维护祠堂制度，将祠堂与国家并列作为国家的名称。到了周朝，祠堂制度已经臻于完善。《礼记王制》曰:“天子七庙，三昭三穆，始于太祖庙。五王庙，二赵二穆，五毛庙。有三座医生庙，一座为赵，一座为穆，三座为毛。在十一庙里，庶人向床献祭。”可见法律对祠堂的设立有详细的规定。这一时期，老百姓可以在家祭祖，但无权建祠堂，只能在卧室里，只有皇帝、诸侯、士大夫才有这个权利。而且这一时期政府对祠堂非常重视，主要体现在皇帝宫殿的建设上。《礼记·曲里》说:“祠堂第一，图书馆第二，客厅第二。”也就是说，诸侯在建宫殿的时候，首先要建祠堂。

汉代祠堂兴起。民间祠堂只出现在西汉。民间祠堂与皇陵祭祀的陵墓功能相似，但适合贵族家庭的大家庭。汉代祠堂多为石制，建在墓前。魏晋南北朝时期，建立了祠堂祭祀制度。这期间朝廷多次下令官僚士大夫建立祠堂，但并不迫切需要他们“与慢作斗争”、“安身立命，习以为常”，也不愿意建立。此外，建立官僚祠堂的标准是由官职转换而来的，所以一般士大夫的祖先崇拜都是在家里进行的。但这一时期民间祠堂的建筑形式并不固定，因地而异。

唐代出现了完善的家庙制度。五代大战，灭。宋朝政府试图恢复宗庙制度，最终朱建立了完整的宗庙制度。唐朝已经明确了家庙的身份，家庙的建筑和位置。宋代理学盛行，儒家“三纲五常”伦理得到强化。所以说“孝为先”，祠堂在这一时期的人们心目中高于一切。朱在《家礼》中规定，君子建宫，应在寝宫东侧建祠堂。此后，民间祠堂的设计和祭祖方式大多参照朱《家礼》的规定。明清两代，祠堂制度成熟。明代中期，原先供奉在卧室左侧的祠堂被移出客厅，逐渐变得普遍。明代祠堂与祠堂并行，祠堂继续向祠堂转化，祠堂的记载开始出现在地方志中。祭祀作为一种重要的家庭活动，受到人们的重视，祠堂成为这一时期家庭权力的象征。这一时期，政府和人民都非常重视祠堂的建立，这体现在宣扬“家规对祠堂是中立的”和“注重祭祀”。与此同时，祠堂也成为了一个家庭中教育人的场所和伦理法庭，家庭成员的婚姻也在祠堂中进行。祠堂成了一个宗族生产生活活动的中心。祠堂的活动也增加了宗族成员的认同感和凝聚力。