皇甫謐出身官僚世家。其曾祖父皇甫嵩是東漢時期的一位名將。官拜太尉侯。但到了他父親這一代，家境已經衰落，生活相當窘迫。皇甫謐的叔父沒有子嗣，皇甫謐的父親就把他過繼給叔父。不久皇甫謐隨叔父遷居新安，並受到叔父的過度溺愛。在叔父的嬌慣寵愛之下，少年時代的皇甫謐，沾染上了當時官宦子弟的惡習，整日東遊西逛，吃喝嫖賭，不肯用功讀書。據《晉書》記載，皇甫謐到了17歲還目不識丁，以至人們認為他天生痴傻。
有一年，由於家中的田產商鋪經營不善，再加上皇甫謐揮霍無度，叔父家的家產被變賣一空。叔母對依舊我行我素的皇甫謐非常生氣，也為他的前途憂慮。但是他不管怎麼說怎麼勸，皇甫謐都只把她的話當做耳旁風。
一天怒不可遏的叔母，把貪玩好色的皇甫謐趕出家門。想以此來懲戒他，不料他到外邊市井上弄了一些香瓜、甜果之類的東西，洋洋得意的送給叔母，他以為這樣孝順父母一番便可以平息叔母的盛怒，誰知叔母更加氣憤，她接過瓜果狠狠的摔在地上，流著淚說：“你都快20歲了，還是這樣，志不存教，心不入道，你要是真心孝順父母就定下心來學習，否則我再也不要見到你。”這件事使他深受觸動，自此他與先前的狐朋狗友斷絕來往，拜鄉里有名的學者席坦為師，刻苦學習儒家經典。
皇甫謐改邪歸正，發奮讀書，只是家境每況愈下，最後竟至無錢買書的地步，為了學習他到處借書抄閱，有的時候為節約一本書，要長途跋涉數十里、數百里，借來之後趕緊抄閱，然後按期歸還。同時因為家中生計無著，他每天必須耕田勞動，於是他每天帶書下地，等到田埂休息時，就取出書來讀上幾頁。晚上回到家裡，別人呼呼大睡，皇甫謐卻用冷水洗臉，然後就著微弱的燈光讀書，就這樣他通讀了諸子百家的著作，做了大量的讀書筆記，使自己的學識很快有了不小的長進。
當皇甫謐在經學上有所成就的時候，年僅42歲的他卻患上了風痺病，半邊身子像針刺的疼痛，有時痛得起不了身，又無藥可治，疼痛襲來，全身像被千萬只螞蟻咬一樣難受，渾身上下顫抖得像篩糠，病痛暫時過去後他必然大汗淋漓，有時候就把身子下面的書籍浸溼一大片，儘管如此，他仍然強忍著病痛繼續研究。看著他疾病發作時痛苦的樣子，家人和朋友都勸他，別那樣沒命的學了，事已至此，身子要緊。但是皇甫謐卻沒有放棄。
從此他把精力轉到對傳統醫學的研究上。皇甫謐憑著頑強的毅力，自學了《內經》《針經》和《明堂孔穴針灸治要》等醫學典籍，之後就在自己身上扎針做實驗。由於行動不便，有些穴位扎不到，他叫兒子進針，時間一長他的肋下和大腿的肌肉都被扎遍了，面板表面生了厚厚的一層繭。有一次，他為了找準小腹部的一個穴位，幾次扎針不小心刺傷了臟器，要不是有人在旁邊看護，及時解救，他可能就一命嗚呼了。
功夫不負有心人，他靠著針灸，拔火罐，按摩等治療手法，奇蹟般地治好了自己的風痺。
從此他更加努力鑽研，決心效法古人，整理醫學典籍，把自己的醫術傳承下來。
隨著研究的深入，皇甫謐發現，以前的針灸學書籍既晦澀難懂，又錯誤百出，不便於閱讀和學習，他仔細研讀比對了周代的《足臂十一脈灸經》和《陰陽十一脈灸經》、戰國時的《黃帝內經》等著作，對針灸學知識進行了系統總結，但這些書是不夠的，他透過各種渠道搜求涉及針灸學書籍，但人家把這些書視為奇珍異寶，不輕易外借。
正在他為難之際，當時的晉武帝見他品格高尚，學識豐富，同時為了表示自己禮賢下士，居然送了一批醫書給他，皇甫謐喜不自勝，日夜攻讀。他總結秦漢三國以來針灸學的成就，結合自己的臨床經驗，終於寫出了一部堪稱針灸學典範的鉅著《針灸甲乙經》。
這是我國現存最早的一部系統針灸學專著，他把針灸治療和生理病理緊密結合起來，並對臨床治療等方面都作了系統的論述，確立了針灸學的完整理論體系，為針灸學成為臨床的獨立學科奠定了基礎。
終其皇甫謐的一生，用生命為後人留下一部針灸學著作，確實值得我們紀念。
