渡辺氏は、倉見氏のうち国衙機構に携わった者の系譜を引く一族と考えられる。鎌倉末期には倉見渡辺六郎が知られ、彼は若狭国一宮十二代宜景継の姪と婚姻し、娘を大飯郡本郷地頭であった本郷隆泰の従兄弟の道勝房に嫁がせるなどして三方郡以外の地域勢力と結びつきを強めていた（資９　若狭彦神社文書二号）。しかし得宗専制が崩れ鎌倉幕府が滅亡していくなかで、渡辺氏の立場は不安定なものになっていったようで、六郎の子である渡辺四郎左衛門尉の動向は詳らかではないが、建武元年（一三三四）には渡辺中務丞が、かつて得宗に没収された太良荘地頭職の回復をもくろむ若狭直阿と結び同荘に討ち入り、悪党人として訴えられている（ツ函二二、ウ函一四六）。一色氏の入部後の貞治六年（一三六七）四月に一色氏から太良荘預所職を充行われた渡辺弁法眼直秀は（ヱ函八二、ハ函六六）、その系譜に連なる人物と考えられ、渡辺氏は一色氏の被官になったと思われる。応安の国一揆では渡辺氏は守護一色方として、同族の倉見氏と戦うことになったと推測される。武田氏が若狭守護となると、渡辺氏の一族のなかには一色氏とともに丹後へ移った者がいた可能性があり、若狭における国人領主としての渡辺氏の活動について史料上の所見はなくなり、かわって丹後で渡辺源左衛門が知られる（「丹後国惣田数帳」）。