公元194年，曹操因其父曹嵩路過徐州時被徐州刺史陶謙手下叛將殺死，開始對徐州用兵。當時劉備向公孫瓚告別，帶了關張和幾千人馬前來援助陶謙。曹操後來因為手下陳宮等人叛亂，撤軍返回兗州。曹操走後，陶謙上表朝廷，封劉備為豫州牧，率領人馬屯於小沛。後來陶謙自知時日無多，在陶謙的多次謙讓下，劉備領徐州牧。196年，在呂布和袁術的聯合進攻下，劉備失去徐州，投靠了曹操。
許田圍獵時，曹操刻意違背君臣之禮，關羽就想殺之以除後患，但是劉備以為曹操在一定程度上匡扶漢室，阻止了關羽動手。公元198年，曹操和劉備率軍進攻呂布，一舉擊敗呂布，並在下邳將呂布殺掉，曹操得到了徐州。後來，袁術想要北上投靠袁紹，曹操派劉備去截殺袁術。劉備在截殺完袁術後，殺掉徐州太守車胄，自領徐州牧。劉備命關羽屯下邳，分兵抵禦曹操進攻。
公元200年，曹操派劉岱、王忠前去討伐劉備，不料被劉備擊敗，曹操只得親自率軍前往。劉備不是曹操的對手，戰敗後投奔袁紹去了，而後關羽也戰敗，被生擒，不得已投降了曹操。後來袁紹發動官渡之戰，其手下大將顏良進攻白馬，曹操率軍前往救援，命令關羽和張遼為先鋒。關羽到後，望見顏良的麾蓋，策馬直衝進去，斬殺顏良於萬軍之中，梟首而歸，眾將都十分驚歎。此戰過後，關羽被曹操所喜愛，封其為漢壽亭侯。曹操多次讓張遼來試探關羽的想法，得知關羽並不想在曹操手下做事，十分想回到劉備身邊。曹操採取的是給關羽更加豐厚的賞賜，但是最終也沒能留住關羽，不久關羽留下書信，封起賞賜之物，逃回到了劉備身邊。
208年，關羽隨劉備投靠了荊州的劉表。好景不長，曹操不久便率大軍南下，劉備只得率軍逃到了夏口。孫劉聯合在赤壁擊敗了曹操的大軍後，曹操返回北方，留下曹仁防衛荊州。劉備和周瑜對曹仁發動了攻勢，讓關羽斷絕了曹仁的後路，不久便擊退了曹仁。後來劉備取得了長沙、零陵、武陵、桂陽，實力開始壯大，封關羽為襄陽太守，蕩寇將軍。
公元213年，劉備率軍入川協助劉璋防禦張魯，關羽和諸葛亮、趙雲、張飛共同守衛荊州。214年，劉備和劉璋決裂，劉備率軍進攻劉璋，軍師龐統在進攻雒城時被流箭射中身亡。於是劉備召諸葛亮、趙雲、張飛前去助戰，荊州只剩下關羽一人在鎮守。在劉備得到川蜀後，使關羽掌管整個荊州地區。荊襄九郡，關羽實際掌管的只有五郡，分別為：長沙、南郡、武陵、桂陽和零陵。
關羽早年曾被箭射中過，箭頭都穿透了左臂，這個胳膊一旦到了陰天下雨時就疼痛難忍，類似於現在的風溼病。醫生來看，說箭頭有毒，需要把皮肉切開，颳去骨頭上的毒素方能痊癒。關羽當即就讓醫生割開了自己的左臂，進行刮骨，關羽在一旁飲酒吃肉，談笑自若。這就是後來有名的關羽刮骨療毒的故事。
215年，孫權在劉備得到益州後想要回荊州（劉備曾經向東吳借過南郡的部分，但是孫權卻要求歸還整個荊州），劉備不同意，於是孫權就讓呂蒙一舉襲取了長沙、零陵、桂陽三郡。關羽當時由於不知道情況如何，只能率軍在湘水北岸駐軍。劉備得知孫權用兵，率領大軍前來增援，雙方在湘水擺開陣勢，隨時可能開戰。但是，北方的曹操卻趁機攻擊了張魯，劉備北方戰事吃緊，只得把孫權得到的三郡給了孫權，雙方言和罷兵。
公元218年，太醫吉平等謀殺曹操事情洩露被殺，曹操十分惱怒，令大將曹仁向荊州用兵。曹仁屯兵在樊城，大肆徵調徭役，百姓十分悲慘，很多地方都發生了叛亂。219年，劉備與曹操爭奪漢中，劉備手下大將黃忠斬殺曹操方大將夏侯淵，趙雲又在漢水劫了曹軍的糧草，曹操只得率軍退出了漢中。劉備得到漢中後，自立為漢中王，封關羽為前將軍。
不久，關羽便率軍進攻屯據在樊城的曹仁，許多地方都紛紛響應關羽。曹操得知後，趕忙讓自己的兒子曹植率軍前來解救曹仁，但是曹植卻喝的大醉，不能行軍，曹操只得讓于禁和龐德率領七路大軍前來增援。龐德在和關羽交戰時，用箭射傷了關羽的前額。八月，天降大雨，關羽隨即掘開漢水，一舉淹掉了于禁帶來救援的七路大軍。于禁被擒，龐德被斬。關羽乘勝進軍，將曹仁圍困在樊城，一時間威震華夏。
