堀江氏は加賀の富樫氏や林氏などと同族で、鎮守府将軍利仁の末裔と称する（通１　六章二節参照）。堀江氏の子孫が伝えた系図によれば（「岡部家系図」）、利仁将軍の八代後の実澄の子実嗣が建久年間（一一九〇〜九九）に河口荘堀江郷に住み、郷名をもって堀江氏と名乗るようになったと伝える。これらの点を事実として確かめることはできないが、少なくとも室町期において堀江氏は先祖が利仁将軍であり、鎌倉幕府の成立した建久年間以来この地に土着していたことを主張するようになっていた。すなわち、応永二十五年（一四一八）に河口荘の本庄郷満丸名と新郷鴫池の支配権を興福寺福智院栄舜と争った堀江道賢（教実）は、その申状のなかで鴫池は先祖利仁将軍以来の由緒の地であるとし、満丸名は建久以来の将軍・門跡の数通の補任状を得ていることを挙げ、自らの支配権の正当性を主張している（資２　福智院家文書七号）。建久以来の補任状の存在は疑わしいが、確立した室町幕府体制のもとで強められてくる守護の支配に対応して、堀江氏は加賀の国人たちと同じく利仁将軍伝承を拠りどころとする土着性の伝統を主張したものと考えられる。 　堀江氏が初めて史料に現われてくるのは応永三年の堀江賢光である。この年、興福寺大乗院門跡は坪江下郷出来島について三国湊からの違乱を排除し、同郷阿古江に属して支配すべきことを堀江賢光に命じている（「坪江郷奉行引付」）。少しのちの応永十九年に、越前の住人である堀江・桑山らが興福寺の代官あるいは守護被官人としての権威を背景に内膳司領三国湊の住宅などを押妨したとされており、堀江氏は興福寺の三国湊代官であったことがわかるが（資２　宮内庁書陵部桂宮家文書三号）、それは賢光のときにまでさかのぼるのである。この賢光は右の堀江道賢申状のなかに、河口荘内のいくつかの名田を道賢に譲与したことがみえており、またのちに河口荘細呂宜郷上方の代官堀江越中守景用は「一代政所賢光」の子であるとされている（『私要鈔』寛正五年五月二十九日条）。これらを総合すると、堀江賢光は河口荘内のいくつかの名の名主として利仁将軍以来の伝統を誇るとともに、荘園領主の興福寺から三国湊や細呂宜郷の代官に任じられていたことがわかる。応永二十一年八月、年貢などを無沙汰したため河口荘の政所・公文が上洛を命じられているが、そのなかに本庄郷公文・細呂宜郷上方政所の堀江石見入道、細呂宜郷公文・同郷下方政所の堀江帯刀、荒居郷政所堀江三郎左衛門がいる（「寺門事条々聞書」）。この堀江石見入道が賢光の子とみられる道賢であろう。河口荘のその他の郷の政所・公文には守護家臣の甲斐・朝倉・織田氏らが任じられているが、この地に土着する道賢を中心とした堀江一族はいくつかの荘官職を保持して勢力を維持していた。