拆除忠孝二祠遗址兴建洋房和教堂，这种行为的隐喻不啻于刨了儒家之祖坟。直至此时，湖州士绅方才意识到问题的严重性，也成了湖州人茶前饭后主要话题。
......
听闻此消息，湖州士绅义愤填膺。
湖州府庙的一个茶楼里，几个湖州士绅在喝茶商量。
一个道：外国人到我们这里，刨我们之祖坟，岂有之理。
一个对刘安江道：您刘兄与韩时有相识，又曾在工部做事，懂清律，不妨您带我们一块去找找他。
......
韩明德在湖州的临时住处。
韩明德冷笑着道：你们各位都是有识之士，知书达理。作为朋友，你们光临，过来玩，随时随地欢迎。为这事，你们也用不到来找我呀，上述土地早经县令通告转卖完毕，要找，你们找县衙去。
无奈，刘安江带领湖州籍官绅，遂向归安县令、浙江巡抚、都察院、外务部等多部门呈控，并托人入内廷奏报，其中即有时任修订法律大臣之湖州人沈家本，效果显著。1904年，朝廷连发两道上谕，要求浙江巡抚聂缉椝查办此事。
朝廷有谕，浙抚聂缉椝不敢怠慢，速派官员赴海岛勘察界址，先后与湖州士绅、传教士和美国驻杭领事安得森（george e.anderson）等会商。
会上，浙江洋务局派湖州籍许鼎霖参与。许理直气壮道：该宗土地乃属强买强卖，毁了我民族之文化，又刨了我民族之祖坟，岂有此理。
韩明德道：我方所购土地合理合法，手续完备，强买强卖乃是无稽之谈。
安得森也道：所购土地手续俱全，合理合法，你们之指控不成立。
未达结果。
......
次年（1905年）二月，浙江洋务局派许鼎霖赴上海，与美国驻上海副领事白保罗、南监理会代表潘慎文（a.p.parker）、韩明德、毕立文（edward pilley）等进行谈判，传教士李提摩太和李佳白亦从中调处，谈判终于取得较大进展，拟定了《会订湖州海岛祠学基地办法合同》（以下简称许鼎霖合同）。双方约定，南监理会同意归还祠庙等基地共15亩左右，外加基南小地两块，共计20亩左右。不过，教会要求归还之土地上不得建造“不洁之屋”，同时要在基地之东让出一条两丈宽之公路；此外浙江洋务局需给付教会上海规元一千两。
......
看了这一合同，事实上已经将最重要的尊经阁等地基索回，不过刘安江道：这一合约，其中言语仍有不洽之处。何种建筑为“不洁”？文庙、忠孝二祠是否为“不洁”？是不是教会眼中的“偶像崇拜”？且“不洁”之标准若掌控于教会，对士绅而言无疑是受制于人，处处得咎。其次，教会新造围墙之东门，需要有一条道路通往官道，这就是二丈宽公路之由来。这条路之存在无任何好处，反而占用了祠学庙产之地，更将府学全地横截为二，非常不便。
聂缉椝对刘安江的说法非常不满，他道：做事都得适可而止。许鼎霖之合同已经争回公地二十余亩，比先前争议的十亩之数已多出一倍，最要紧的祠学各地已经索回，其余已无能为力；更何况“洋人最重立约”，该合同已经由官府与教会议结，较难由官议改，而外务部也同意按照此方案议结。
但在刘安江等湖州士绅的坚持下，浙抚致电洋务局要求与美领事继续谈判，在原合同内容基础上商办附约。
但韩明德对修改之要求不能接受，谈判最终破裂。