由于王匡、王凤能为大家主持公道、排难解纷，维护秩序，渐渐地被饥民视为首领。

沼泽地里的饥民越聚越多，而且有组织、有纪律，这不是聚众造反是什么？官府发兵前来镇压，王匡、王凤不得已，只好带领饥民走上了反抗的道路，举旗上了绿林山（今大洪山南麓许家寨一带）。

这时的王匡、王凤绝对不会想到，他们这一次举旗，竟成为了继秦末陈胜、吴广之后的中国历史上第二次农民大起义。

初上绿林山，为求生存，王匡、王凤不得不时时带领队伍在附近打家劫舍。

队伍越来越庞大，发展到了几千人，胆子大了，就开始攻打离城市较远的小集镇，掠取一些地主豪强的粮食财物，然后又回绿林山上，占山为王，日子过得还不错。

看到王匡、王凤生活过得这么滋润，南阳人马武、颍川人王常、成丹等也相继带兵入伙，短短几个月，就聚集起上万人。

其实，这上万人都是因为饥寒贫苦才被迫上梁山的，大家聚集在一起，“常思岁熟得归乡里”，盼望着年景转好回家种田。势力虽大，却不敢攻占城市，劫掠到的食物，只求填饱肚皮。

王莽不明就里，疯狂地进行镇压。

王莽地皇二年（公元21年），王莽诏令荆州牧发两万大军攻击绿林山。

镇压越烈，反弹越强。

王匡、王凤率部众在云杜（今湖北京山）奋起反击，大破州府官军，杀数千人，将粮秣辎重悉数掳获。

荆州牧胆战心寒，领着残部仓皇向北撤退。没走多远，又遭到绿林悍将马武的截击。

这时的马武，还幻想着日后可以金盆洗手，做一个安分守己的平民，他只是用长槊钩翻了荆州牧的车辕，将他打翻在地，不敢妄开杀戒。

荆州牧终于逃得一命。

绿林军顺势攻陷竟陵（今天门），转而袭击云杜、安陆，“多略妇女，还入绿林中”。

经此一战，绿林军名声大振，越来越多的人前来投奔落草，人数暴增至五万余人，声势浩大，州郡官府力不能制。从此，人们专门把那些据山林水泽之险与封建政府对抗的武装称之为“绿林好汉”。