新四军八团粉碎了裴家军对王元山的袭击，迫使裴世充和裴元理缩了回去。
对于舒城地方武装袭击新四军的恶性事件，新四军第四支队高司令立即照会战区司令部，指出裴家军这种卑劣的行径，只能是使日本人快，而使抗日的新四军痛。并指出：今后若再有这种针对新四军的敌对行为，新四军四支队将全力回击。
战区司令部立即作出回应：严饬裴氏父子的倒行逆施，令舒城地方政府对裴氏父子严加管束。
同时，战区司令官李宗仁宣布：为了团结一切力量用于抗战，凡第五战区辖内一切地方武装统一编成抗日自卫军。在安徽，统一编成安徽人民抗日自卫军，由李品仙担任自卫军总司令。
因此，在舒城，裴家军改编为安徽人民抗日自卫军第三路军，裴世充为总指挥，裴元理为副总指挥。
却说八团在舒城和桐城的安合公路上设伏，意在袭扰和打击南进和西进的日军，以策应国军主力在武汉地区与日军展开的大规模会战。
1938年6月初，侵华日军第6师团分两路进攻安庆，其中一路坂井支队由合肥南下，安(庆)合(肥)公路上几乎每天都有大量日军行动。
这一天，二营长何佳峻带着全营正埋伏在从大关到小关的公路旁。突然观察哨传来信号，有大股日军正顺公路南下。
何佳峻遂令部队准备战斗。
约摸半个时辰，就见公路上日军成三路纵队鱼贯而来。何佳峻从望远镜里看到，这股日军前后排得竟有几里路长，估计不会少于三千人。
看到如此多的敌人，营长何佳峻只得隐忍着。他通知部队原地休息，静待时机。
不几，观察哨又传来信息，日军一个后卫队约一个排又进入伏击区域。
何佳峻分析，这可能是日军的收容队。此时这个收容队虽然已成孤立之敌，但它与前面行进中的大部队相距并不远。如果开打，前面的日军会很快回援。
没法子，何佳峻只能眼睁睁地看到日军的后卫在自己的眼皮子底下走过去。
6月中旬的一天，柯川团长命令2营将伏击阵地设在离公路60至100米的小树林里，并在不远的山岭高处设置了观察所，以观察从舒城方向来的日军动向。
柯川的战略意图仍是打日军的伏击，他将一营摆在桐城方向，警戒由南而北的敌人，将三营摆在舒城方向，阻击可能由北而南增援的敌人。
他告诉二营何佳峻营长，如遇战机，放心打。但必须凌厉果断，速战速决。
下午2时许，观察哨发出信号，距伏击地数里处发现日军的先头部队正由北向南开进。
何佳峻像上次一样，让部队迅速作好战斗准备。
听到命令，2营指战员快速做好战斗准备。不一会，日军成三四路纵队，以分列式行进，有骑兵、炮兵、步兵，约一个师的兵力。
何佳峻营长见敌众我寡，仍不宜动手，就再次让战士们耐心地等待时机，静观敌情变化。战士们眼巴巴望着敌人从眼皮底下大摇大摆走了。
不多时，山上观察员又发出信号，日军远离大部队的一个辎重队正朝二营阵地的伏击圈行进。何佳峻营长果断发出战斗命令。
这又是为什么呢？
原来何营长分析，这次虽然和上次的情况差不多，但这个辎重队却离前面的部队较远，估计是车辆在途中发生过故障，故而隔得远。
还有，因高山阻隔，这边开打，日军的大部队未必听得到；即或听得到，等到他们赶到，这边的战斗也差不多结束了。
再有，柯川团长交待了，两头都有部队盯着，他可以放心打。
因此，机不可失，时不再来。何佳峻营长果断地扣动扳机，顿时，枪声、喊杀声响彻山谷。
可是2营指战员的一阵猛烈射击，弹药就告罄。何营长指挥部队迅速出击，冲下山与敌人短兵相接。
手持梭镖和大刀的战士们英勇拼杀，日军见势，拼命逃窜。
2营指战员那肯放手，七里咯嚓，全歼了这股敌人。
有一个日军可能被手榴弹炸晕，待他醒来时，战斗已然结束。当他睁开眼晴的时候，突然被打扫战场的新四军发现。
新四军战士一见还有一个活着的鬼子，起初一愣，随后就奋不顾身扑了上去，一个、两个……足足有五六个人压在那个日本兵身上。
就这样，八团生俘了一个日本兵。
将日本兵五花大绑后，有一个战士掀掉日本兵的帽子，故意惊诧地说道：“哎呀，日本兵也是人，并不是鬼耶！＂
说得大家哈哈大笑。
这时，侦察员又报告，舒城方向又有大批敌军向南开来，南进之敌似也有部分返回，何营长当即命令部队迅速撤出。
这次战斗，一共歼灭日军20余人，生俘日军一人，并缴获了大量的军需品。而新四军伤七人，阵亡2人。
大小关伏击战是新四军4支队八团在安合公路沿线打的第一仗，而且首战告捷，它锻炼和考验了新四军这支新组建的抗日部队，鼓舞了敌后人民的抗战信心和斗志。
据史学家考证，大小关伏击战还创下新四军首次生俘日军的战绩①。
诚然，新四军为配合武汉会战，曾经在安合公路上设伏不止大小关伏击战这次。桐城沦陷后，新四军4支队继续在合安路大关段等地抗击日本侵略者，仅1938年9月，就在大关打了几次伏击战。
据统计，除大小关伏击战后，在安合公路上设伏的还有：
9月19日，4支队特务营一部在大关伏击日军，毙敌4名，夺回一批被日军抢掠的民间物资。
9月29日，4支队直属队又在大关地段设伏，毙敌6名，俘敌3名，毙敌战马10余匹。
白沙岭(现属大关镇大关街与卅铺街之间，206国道合(肥)安(庆)公路东侧)山坡隐蔽，岗陇起伏，公路两侧树密，电话杆架有电线，敌驾车来去，旁若无人。
某日，新四军埋伏于附近山巅，在公路弯曲处伐树拦截，且网以电线。敌兵车至，不能前进，停车取障碍物。新四军伏兵火力迸进，日兵迎枪还击。由于新四军兵少力单，弃之而走。后暴雨倾盆，附近有居民被鬼子屠戮，山深雨大，敌退之，民多幸免。此次伏击，毙敌三人，人们拍手称快。
有一阵子，日兵见新四军久去，日日驾车数辆于大关公路间，新四军星夜由舒城翻岐岭至，伏于公路深谷间，敌军隆然闯入，伏兵万弹齐发，如暴风骤雨。敌人未防备，相率下车，鬼嘶神嚎，进行抵抗，新四军退去，鬼子退转三十里铺。是役，鬼子死伤不少，由于鬼子将死伤者全用车子拉走，未能统计到数字。
一一一一一一一一一一一一一一
注①众所周知，抗战期间俘虏一名日军相当困难，由于日军深受武士道精神毒害，宁愿冲锋自杀也不愿意被俘，所以在战争初期，很少能俘虏到日军。即便在平型关大捷中，八路军也没俘虏到日军，直到1937年11月，八路军在广阳伏击战中才首俘日军。
那么，新四军首俘日军是在哪一战呢？一直以来，学界对新四军首俘日军之战说法不一。有1938年7月新四军在金坛首俘日军之说；有1938年6月28日新四军一支队在镇江竹子岗首俘日军之说；但大多认为新四军首俘日军之战是1938年6月16日桐城大小关伏击战。
新四军权威资料：由新四军战史编辑室出版的《新四军战史》。按战斗时间顺序，1938年5月12日新四军第四支队9团在巢湖蒋家河口伏击日军第六师团坂井支队巢县守备队，全歼日军20余人；1938年6月15日，粟裕率先遣支队进抵南京至镇江间铁路上的下蜀街，破坏铁路一段；1938年6月16日新四军第四支队8团在皖中舒城、桐城间的大关、小关伏击日军，毙日军23人，俘1人。从时间顺序上看，大小关伏击战应为新四军首俘日军之战。
另据《中国抗日战争全景录安徽卷》记载：“1938年6月16日傍晚，当日军一支运输队驶入舒桐公路段的大关和小关时，遭到预先埋伏在公路两侧的新四军第四支队第8团第2营袭击，当场毙伤日军23人，俘虏1人。”（8团1营3营都参加了战斗，其中1营3营负责掩护，2营6连负责主攻。）