然而,在民族矛盾日益激化不断上升,而国内阶级斗争持续不停的情况下,要想玩这套两全之策,恐怕不是简单容易的事情。因为张群的这种做法,受到了当时上海许多反日派和进步社团的强烈不满。上海是一个知识分子集中的地方,他们要求民主自由,反对国民党蒋介石的政治独裁和文化专制,反对帝国主义的侵略。上海进步的社会团体的革命活动,引起了国民党当局的恐慌,所以派特务进行封锁和压制。1931年初,胡也频等一批进步的“左联”作家在上海被国民党特务逮捕。此事该做如何处理?张群自上任以来遇见了一件头疼的事。这时候,胡也频的妻子丁玲由于得到郑振铎和陈望道的帮助,让她到南京去找邵力子*想办法。
于是沈从文陪着丁玲到了南京请求帮助。邵力子和蔡元培听到这个消息之后,就给张群写了信,请张群网开一面。其实邵力子也知道,找张群也没有用,这时候国民党中央执委会秘书长陈立夫已经向蒋介石进言处决这些进步作家了。而此时的张群果然已接到蒋介石的命令,要他将人犯全部就地处决,张群虽然不敢违反蒋介石的命令,但是也不愿意杀害这些人,他对那些文人发动社会舆论的能力是知道的,并且他也知道这些作家根本没有理由被处死,因此他非常烦恼,开始怨恨陈立夫,自己抓了人,却让张群来唱黑脸,可是也无奈。于是,他经过痛苦的思考之后,想出了借刀杀人的办法,将人犯移送给了军方的警备司令部。所以,当沈从文拿着信去见张群时,张群告诉他胡也频和其他同时被捕的人已经移送到龙华警备司令部去了,一句话他就把干系推得一干二净了。1931年2月7日,胡也频等五位“左联”作家以及被捕的其他同志共23人,被国民党反动当局杀害于上海龙华。对于这些革命志士的牺牲,人民表示了极大的愤慨,游行不断,甚至包围了张群的房子,要求组织民众法庭公审张群,甚至有人到南京去状告张群。
1931年“九一八”事变后,张群更是应付不迭,上海大学生经常不断地举行“反日”“救国”的示威游行,甚至集队到南京请愿。在这种形势下,张群则认为中国内部还没有统一,国力还不充实,对日关系不宜破裂。这种观点和蒋介石的妥协退让政策如出一辙,自然受到上海各界抗日人士的反对。由于上海的反日斗争形势日益高涨,中国共产党在上海发动沪西日商纱厂工人反日大罢工,声势浩大,罢工人数达4万人,时间长达几个月,日商直接经济损失达9100万。1931年12月9日,上海的国民党特务殴打并绑架了北京大学示威团到沪的学生代表。上海各校学生立即汇集了上万人包围了市政府,强迫张群交出殴打学生的凶手和绑架学生的主犯。张群这时候非常郁闷,对于局势也无力控制,这时候他忽然心生一计,想出了一个趁机打击陈立夫及其CC系的势力,开脱自己的办法,这就是交出凶手,还主动供认CC系的上海市常委陶百川和上海市公安局长陈希曾是事件的主犯,听任学生组织民众法庭,对凶手进行审判,并当场交还被绑架的学生,并允许学生组织民众法庭,审问凶手,以换取人民的同情。民众法庭由五所学校代表组成,市政府也派两位代表参加,民众法庭出拘票缉拿陶百川和陈希曾两要犯,要对他们公审,但两犯闻讯逃匿了。尽管如此,张群也无力控制上海的局势。情势表明,上海市市长的位子他再也坐不下去了,于是最终在1932年行政院改组时,他主动辞去了上海市市长一职。