1996年，81岁少将参加女儿乔迁之喜，看到墙上的日本画，摔门就走(5)

但是，之前组织上征求他个人的意见，因为他劳苦功高，可以特殊照顾一下。颜文斌却说坚决服从组织安排。所以，直到1964年，他才晋升少将。颜文斌这一谦让，少将军衔迟到了9年。
后来国内形势稳定，颜文斌也算是“解甲归田”，把生活的重心放在了家庭上。颜文斌离休后，组织上给他安排了一座房子，这个房子是日本战败留下的。
有一次，日本派了一个代表团来访问，想参观一下这座房子，颜文斌的警卫员把他们拦在了门外，并轰他们走。
日本代表团不放弃，就托人联系了颜文斌的儿子，他认为已经过去了几十年，和日本人的仇恨早就该放下了，所以就把警卫员教训了一通，还跑去劝说父亲。给颜文斌讲了一堆大道理，可颜文斌直接怒斥：“中国人不能忘记那段历史，警卫员就应该把日本人轰走。”
晚年的时候，老伴走了颜文斌的女儿害怕一个人他孤单，于是给他买了一个带彩色的电视机。颜文斌得了这个电视机之后爱不释手喜欢的不得了，每到吃饭的时候就要打开电视看新闻。

2005年，90岁的颜将军吃饭的时候，又照例打开了电视机。当看到日本右翼叫嚣挑事，他愤怒地推开碗，喊道：“上阵父子兵，给我一杆枪，带你们上战场打鬼子去。”
看着他怒发冲冠的样子，儿女们吓坏了。女儿赶紧关了电视，生怕有高血压的他一生气，心脏病犯了。
2014年4月1日，刚过百岁的颜文斌将军在大连解放军210医院病逝。据悉，颜文斌将军去世后，其家人在收殓遗体的时候发现，将军身上伤痕无数，比较明显的“伤痕勋章”足足有18处之多。