所以，当高欢知道杨愔前来投靠时，他对杨愔十分器重，也非常礼待他。

杨愔也将这位枭雄视作可以依赖的名主，向他陈述了全家遇害的经过，言辞悲壮，涕泪交流。

高欢听后，也十分感叹，为杨愔的悲惨遭遇而伤感落泪。杨愔感激高欢愿意收留自己，向他提出了多项对付尔朱氏的策略建议。

高欢对杨愔的意见十分重视，随即任命他担任自己的行台职务。

中兴二年，高欢攻打邺城但却久攻不下，于是就命杨愔写祭文以告祭天地。结果祭文刚刚烧完，邺城就被攻破，杨愔也因此被高欢重用。

由于杨愔文笔出众，高欢极为欣赏，升任他为大行台右丞，主管行台后勤事务。当时政治、军事事务频繁，行台的所有檄文教令，主要由杨愔和另一位汉族士人崔棱撰写。

自杨氏满门被尔朱氏杀害后，杨愔始终按丧礼的形式生活，从不食肉饮酒，只以食盐和稻米为食。营养不良，再加上极度悲伤，杨愔消瘦到极点。

高欢十分怜悯他，经常加以劝慰开导：

“遵彦，不要过分悲伤，虽说君子守丧要戒除酒肉，但你只吃米饭，这样做会损害你的身体，须知道，人只有活着，才能有机会为死去的亲人报仇雪恨，如果你不爱惜自己的身体，早早失去性命，试问还有谁能替你的亲人报此家仇呢？”

杨愔听后，受到鼓舞，他决心习武锻炼身体，又多吃各种蔬菜水果和豆制品增加营养，终于让自己的身体体重复原。

高欢准备在韩陵之战消灭尔朱氏，下令大部队向韩陵进军。杨愔向高欢请求准许他随军上前线。高欢听后感到愕然，就说：

“遵彦你是文官，上前线是非常危险的事，还是留在大后方办事吧，本将知道你恨尔朱氏家族，但也不能罔顾自己的安危。”

“禀大行台，下官虽是书生一名，但国仇家恨，谁说书生就不能报国保家呢？”

“可是，这行军打仗不是单靠一腔热血的，也要体力才行，何况刀剑无眼，何必白白枉送自己的性命？”