中共第一个公安局局长

1927年6月，党中央将一道密令下达到彭干臣的手中，让他即刻赶往南昌，与周恩来筹划一项重大的军事武装活动。这项重大的武装起义活动，即著名的“八一”南昌起义。

当时，南昌、九江一带聚集的敌兵，相比较中共控制的兵力而言，少之则少。如果趁此机会发动武装起义，可促使起义的成功。

8月1日凌晨两点，南昌城内熟睡的人们突然被一阵枪声惊醒。中国共产党武装反抗国民党的第一枪打响了。经过五个小时的激战后，南昌起义部队消灭了敌人近万名，成功占领南昌城。起义当天，彭干臣被中共中央任命为南昌公安局局长兼卫戍司令。他接管南昌公安局后，立即将原公安局的警官和消防队员进行了集合、整编，并发出布告要求各商店照常营业，再次显示了他干练的办事作风。

8月4日，彭干臣召集公安局原下辖的保安第一、二大队和消防队进行训话，而后重新组合编队，并将新招募的300多名青年与原有的警员合编为几个连，派发枪支弹药后，随贺龙的警卫团南征。

南昌起义爆发后，蒋介石慌忙调来大批军队镇压。针对敌我力量过于悬殊的情况，起义部队决定放弃南昌，南下广东。8月5日，彭干臣随起义部队南下广州。

9月下旬，南昌起义部队到达潮汕地区，以周恩来为首的前敌委员会曾决定，将海陆丰农民赤卫队改编成十五军，由刘伯承当军长，彭干臣任第一师师长。然而，起义部队主力在10月就遭到了失败，十五军没能正式成立，彭干臣自然也没有担任第一师师长。

南昌起义失败后，彭干臣辗转来到上海。1928年，彭干臣受党中央委派作为中央军委委员协助军委主席周恩来做地下工作。第二年夏天，党中央决定在上海秘密成立军委系统的军政干部训练班，并选定彭干臣作为训练班的具体事务负责人。

当时，军政干部训练班由军委主席周恩来直接领导，彭干臣除了负责训练班学员的接送、住食、安全等工作外，还担任学生的课程教员。训练班一共办了三期，每期30多人，训练时间为三个月左右，主要为学员们讲授党的建设和军事斗争等课程。训练班的场所设在一栋三层楼的花园洋房里。彭干臣在花园外的大铁栅栏门旁树了一块写有“蜜蜂经理处”的大牌子，对外声称是武汉蜜蜂公司设在这里洽谈生意的地方。他化名黄春山，是该经理处的经理，人称“黄大老板”。

每期训练班开班时，彭干臣都要去接学员。一般，他会在晚上接进学员，并规定任何学员在学期结束之前不得离开花园洋房。学期结束后，他再趁黑把学员一个个地送走。学员由保卫人员化装成的人力车夫，直接送到事先安排好的旅馆，再由党中央派来的“交通员”接走，派往苏区。

当时的上海处于国民党反动派的白色恐怖政策中，可彭干臣在主持军政干部训练班一年的时间里，从未出现任何纰漏或者事故。周恩来对他谨慎、认真、干练的做事风格大为赞赏，称他是“出色的将才经理”。

怀玉山上铸英魂

1930年5月底，彭干臣根据党中央的指示，前往东北组织武装斗争。9月，东北党组织内部出现叛徒，彭干臣暴露于国民党的白色恐怖政策之下。为了躲避国民党特务的抓捕，彭干臣和一位配合他工作的同志于10月上旬乘火车北上哈尔滨。途中，两个国民党特务一路跟随他们到了哈尔滨落脚处。这时，彭干臣发觉其中一个特务好似跑去告密了，遂将另外一个特务骗进住处内掐死，再直奔火车站，乘车取道大连重返上海。

在上海期间，彭干臣曾到天津开展工作，后因“顾顺章事件”又返回上海。他回到上海后，仍协助周恩来工作，并亲自到工厂、学校等地开展革命活动。后来，由于党中央被王明的“左”倾错误所统治，使上海的革命力量和组织遭到极大破坏，周恩来、彭干臣被迫离开上海奔赴革命根据地领导武装斗争。