這種情況沒多久便引起街坊鄰里的閒言碎語,有人用“羊(楊)吃白菜”來形容兩人之間有姦情,葛小大也起了疑心,但捉不住真憑實據,只好打罵小白菜出氣,後來,因為權衡利弊,楊乃武勸小白菜同意葛小大一同搬到別的地方住避免風頭