彼らの領主支配の構造はどのようなものであっただろうか。具体的な史料が残されていないから、『今昔物語集』の芋粥説話に注目する。そこでは五位を芋粥で歓待するため、夜中「人呼ノ岳」から「此辺ノ下人」に山芋徴集を呼びかけ、翌朝になるとおのおのが山芋一筋を持参する館の情景が、印象的に描かれている。 　ある研究は、この声の及ぶ範囲に居住する「下人」が、領主の恣意的欲求のままに雑公事・夫役を奉仕する隷属身分だったことを指摘するとともに、「其（ノ）音ノ及ブ限ノ下人共ノ持来ルダニ、然許多カリ、何況ヤ、去タル従者（共）ノ多サ可思遣」（写真108）の一節から、主人の本宅から離れて居住する、それ以外の多数の「去タル従者共」の存在を読みとっている（戸田芳実『日本領主制成立史の研究』）。

写真108　『今昔物語』（学66）

もちろん、同説話は九世紀末のころという時代設定で、しかもある種の誇張を含んでいる。しかし、説話が人びとに共感と納得をもってうけとめられるためには、接する者にとって違和感のない同時代の風俗や社会関係がおりこまれていなければならない。登場人物は過去のものであっても、人間関係は『今昔物語集』が成立した十二世紀前半の在地領主のものである必要があるのである。両系斎藤氏にも、実際に二つのタイプの支配下民衆がいたのであろう。 　いま、発達した中世在地領主の支配の構造を、所領・所職の内容の面からモデル化すれば、１支配権が最も強力に徹する本拠としての居館（土居・堀ノ内）、２居館周辺に広がる門田・門畠など直営の田畠＝開発私領＝雑役免除の地、３さらにその外部に展開する郡・郷・保などの地域単位、という同心円的な三重構造が描ける。この１の内部や２に居住するのが下人・所従とよばれる人びとであり、一番支配力の弱い３には自立した百姓・一般農民が在住した。 　下人・所従は領主の家に付属する世襲的従者で、主人に四六時中奉仕すべきものとされた。百姓は在地領主に段別五升程度の加徴米（本年貢に上乗せして徴収される付加分、本年貢は国衙や荘園領主へ納入される）を納める程度の関係を基本とした。芋粥説話の「其辺ニ有下人」と「去タル従者（共）」とは、下人・所従と百姓の初期中世社会における原初的な姿をさしていたのではないか。