而他最爱的梅花，或许深藏着他一生的愧憾。
据史学家考证，彭玉麟的外婆有个养女，仅比彭玉麟大几岁，两人从小一起长大，感情极深。彭玉麟叫她“梅姑”。因为辈分问题，两人未能结合。后，彭玉麟听说舅舅去世后，外婆和梅姑在安徽孤苦无依，遂派人把她们接到衡阳一起生活。不久，彭玉麟母亲做主，把梅姑嫁出去。四年后，梅姑死于难产。彭玉麟听闻噩耗，伤心欲绝，开始画梅写诗，以作纪念：
自从一别衡阳后，无限相思寄雪香。
羌笛年年吹塞上，滞人旧梦到潇湘。
他曾用过一枚印章，自称“古今第一痴人”，对这段感情的创伤与痴绝，表露无遗。他在诗画中无数次表达同一个意思，说“一腔心事托梅花”，说“一生知己是梅花”。他屡屡把梅花当作相依相伴的爱人，说“生平最薄封侯愿，愿与梅花过一生”。
在中国的文化传统中，梅是“四君子”之首，寄寓士人高尚的道德追求。画到后来，以梅怀人与以梅言志，在彭玉麟笔下已融为一体，难解难分：
英雄气概美人风，铁骨冰心有孰同。
守素耐寒知己少，一生惟与雪交融。
1890年，光绪十六年。彭玉麟病逝于衡阳退省庵——四周种满梅花的住所，享年74岁，谥号“刚直”。
他死后，上至缙绅高官，下至贩夫走卒，都难掩涕泣：“彭公逝矣！”
