『今昔物語集』の説話にもかかわらず、利仁の越前との関わりはそれほど深いものではなかったようだ。『尊卑分脈』では、利仁の子供は全部で一二人みえているが、敦賀の豪族の娘を母と明記するものはいない。そして、子供たちのなかでは光孝平氏の系譜をひく輔世王の娘との間にできた叙用以外は、すぐ系譜が絶えている。『尊卑分脈』の叙用の傍注には、斎宮寮の頭をつとめたので、この一族を斎宮の斎と藤原の藤をとって斎藤と号するようになったとある。その子が吉信で、孫が忠頼・重光・伊傳である（図95）。忠頼は加賀斎藤氏の祖、伊傳は越前国押領使とある。 　彼らの名前や活動は確実な史料にみえず、系譜の真偽を確かめる手段がない。それなりの事実を明らかにできるようになるのは、重光・伊傳らの次の世代になってからである。だから北陸の諸豪族がその祖を系図の上で利仁につなげただけかもしれない。仮に事実を伝えるものであったとしても、利仁の越前での勢力や活動は直接には子孫にうけつがれず、孫伊傳の段階に至って、ようやくある程度の回復をみたとすべきだろう。