切的故乡土地。原来，他实在难以适应京城那种快节奏、充满权谋争斗的生活氛围。
时间来到孝昌末年（公元 528 年），此时天下局势动荡不安。他选择离开家乡，一路向南渡过波涛汹涌的黄河，最终落脚于任城（现今的山东济宁）。之所以会选择这个地方作为落脚点，乃是因为他此前曾与兖州结下过深厚的缘分。于是，他决定在此处定居下来，开始一段新的人生旅程。
就在这一年的年初，也就是永安元年（公元 528 年），东道大使元罗听闻了他的才华和品德，特地向朝廷上表举荐他入朝为官。然而令人遗憾的是，尽管元罗极力推荐，但朝廷并未对他予以征召任用。或许是命运弄人，又或者是时机尚未成熟。
转眼之间，时间来到了永安二年（公元 529 年）。这一年，元颢率领大军势如破竹般攻入了洛阳城。面对如此剧变，任城太守李湛决心挺身而出，起兵讨伐叛逆之军。而徐遵明也积极参与到这场谋反之战的策划当中。只可惜天有不测风云，在一个月黑风高之夜，当他前往民间动员民众支持之时，不幸遭遇了一群乱兵的袭击。最终，这位心怀正义之士惨死于乱刀之下，享年仅仅五十五岁。
时光荏苒，转眼间已至永熙二年（公元 533 年）。他的弟子通直散骑常侍李业兴满怀悲痛之情，向朝廷呈上一份表章。在这份表章中，李业兴深情地写道：“微臣深知那些躬身践行道义之人，从来都不是为了追求现世的功名利禄；而始终秉持仁义之心的君子，更不会贪图身后所留下的虚荣名号。但是，德行高尚之人终究会赢得世人由衷的敬仰与尊崇。我的先师徐遵明虽然出身贫寒低微，成长于穷乡僻壤之地，但他的心志却如同鸿鹄一般高远辽阔，一生坚守着安贫乐道的处世原则……”他将自己紧闭于房门之内，心无旁骛地精心钻研那些传世经典之作，对每一句圣贤留下的微妙言辞都深入探究、反复琢磨，经过无数个日夜的不懈努力和潜心钻研，终于成为了名震四海的大儒。四面八方的莘莘学子听闻他的大名后，纷纷不辞辛劳、千里迢迢地慕名而来，拜入他的门下求学问道。随着时间的推移，他的门徒数量已接近万人之多，其崇高的声望足以与古代那些备受尊崇的贤明师长相媲美。
以他所取得的成就和威望，本