一八五五年，太平天国军队东翼，辗转在苏杭一带。由于太平军是农民起义军队伍，军队的组成结构比较灵活，军队的作战方式也比较多变，不少部队都有着类似于游击战部队的性质，加之当时东南一带相对富庶一些，因此一些太平军军队就干脆在占领区实行了军民合住，枣庄的荫余堂，就是这么一处。荫余堂是这一地区黄氏一个分支的祖宅，这个黄氏家族，在清朝中后期已经没有了什么名声，不过在清初的时候，也算是当地一个大家族了。鼎盛时期的黄氏家族，人口数量达到将近六十人，加上老宅子里的仆人和丫环，总人数几乎达到一百多人。这一百多人中的一大半，就生活和居住在荫余堂里。
荫余堂是一套非常典型的苏杭地区富有家庭居住的明清时期的宅子。宅子本身以及附属于宅子的土地，总共占地面积近一千平方米，其中，建筑面积总共约四百平方米，院落面积总共约五百平方米，是一个名副其实的大宅院。宅院建筑严格遵循中国古代建筑的礼制要求，在院落和宅子的风格和布局方面，非常考究。例如，院落的整体形制，是一个巨大的“凹”字，映衬着中国古代传统文化中的“谦虚”，同时，这种布局形制，也不会给宅子之外的人带来唐突感和冒犯感。又如，宅子周围的院落中，依次分布着不同高度和不同大小的三块草坪，其中有两块副草坪和一块主草坪，三块草坪的分布也充分体现着中国古代传统文化中的“正”与“和”字，显得端庄。
其次，荫余堂中有许多非常珍贵的古董和文物，一部分是祖传下来的，一部分是后来购买的贵重物品。同时，黄氏在当时还颇有资产。这两方面因素直接决定了，如果黄氏同意太平军入住荫余堂，那么这些军人就不可避免地会与荫余堂里的各种珍奇宝物接触了，这种情况下，如果发生了偷窃行为，吃亏的只能是荫余堂和黄老，绝不会是太平军。最后，如果太平军入住的话，或多或少都会给黄氏一族的正常生活带来很大的压力，甚至会破坏黄氏家族的完整。况且黄氏一族当时并不知道太平军到底要住多久，如果短时间借住，尚且能够接受。如果长时间借住，后果不堪设想。
带着这种种忧虑，黄氏掌门人给太平军回信，大意是说，听闻太平军在我们这一地区活动，我们感到高兴。太平军代表着我们普通人的利益，我们原本没有任何理由拒绝你们暂住的需求，我们也会尽量满足你们的需求。只是我们有一个小小的条件，暂住可以，但是必须约法三章。第一，暂住时间不能超过半个月。第二，暂住过程中，不能出现任何偷盗行为和破坏宅子完整性的行为。第三，暂住期间绝对不能出现任何伤天害理的事情，更不能破坏黄氏家族的完整。以上三条，必须全部满足，方可入住。如果在入住时期内，有任何一条规矩被破坏了，还请大人您带着您的手下，另寻高明。
