武力のない中央の荘園領主の派遣者が現地に居着いたからといって、どうなるものではない・武士から見れば無駄飯食いが来た程度なのですぐにこの種の領主は消えてしまったようです。
幕府任命の守護は元々有力武士でしたが、足利氏の例で書いたように当時は飛び地領地といってもその領内は一円支配関係）経営でしたから、各領地で隣接領主との戦闘が常態化すると、飛び地領が多いと応援効率が悪くなり、「遠い親戚より近くの他人」の緊急応援が重要になります。
ただし、もともと荘園はあちこちの開墾地ごとの墾田永世私有許可制によって、開墾地ごとの私有が認められことから始まっている関係で、〇〇の郡・地域一帯ではなく中央貴族が飛び地で持っているに過ぎなかったものが、周辺開墾地を増やすなどして一定地域に広がってきた・地域支配に広がってきたものです。
もともと規模の小さなものが成長して今でいう市町村単位や郡単位規模になってもああちこちに点在しているのが原則でした。
現在農地法改正によって農地の法人所有が認められるようになっていますが、これが仮に世界規模の大企業が経営するように成長したとしても、全国合計すれば日本全国の２割を占有しているといっても一箇所に統合しているものではないので、各地の警察権やガス水道各種インフラ・・全部国家頼みで点は変わりません。
荘園領主の始まりは、現在の法人農地所有の先祖と言えばわかり良いでしょう。
人力会は地時代ですから、数〜十町歩開墾でも大事業だったでしょうから、その程度の飛び地から始まったことは間違いないでしょう。
解説では荘園領主が一円支配を目指して不輸不入の権が次第に拡大していくという欲得だけの解説が多いのですが、前提として個別の田んぼ私有から、一定規模の面支配に広がっていったことが先行していたはずです。
このように飛び地支配を原則としながら、飛び地ごとの範囲をじわジワと広げていく・・倦まず弛まずの成果が先にあったのでしょうが、応仁の乱までは山名、細川など中央の有力御家人の所領はまだ飛び地（の規模が次第に大きくなっていたものの）経営の系譜を引いていたのです。
飛び地規模を大きくしたいのが平安時代初期からの各地飛び地経営者・・現地を預かるものの願望ですから、領域拡大争いが熾烈になると現地武装勢力が重きをなし武士の発達になっていくのですから、武士の勢力が大きくなればなるほど在地勢力に関心の強い領域争いが大きくなるのは自然の流れです。
突発的小競り合いでは中央の応援など待ってられないので、地元荘園規模の大きい方が大きな勢力を持てるので、いよいよ自衛（力充実）に走るようになります。
現在喧しい集団自衛権問題同様に、遠い親戚より近くの領主と縁戚関係やお互い助け合い関係を密にしておく方が合理的、地元人間関係が重要になっていきます
中央派遣→地元密着力で守護代に劣る結果、地元武門トップ守護代に地位を追われていく時代の流れとなります。
戦国末期の長尾為景や織田信秀のころには、武門の棟梁や藤原氏の氏長者等の仲介を経ないどころか、守護や守護代すらを飛び越して一足飛びの朝廷への直接献金が常套化していたことに驚きます。
織豊政権成立の頃に生き残った戦国大名で、家柄だけで生き残った大名はいないと言っても過言ではないでしょう。
武田家や島津家などは守護大名から戦国大名に転換できた希少な例でしたが、もともと土着源氏であった者が、その地元で守護に任命されていたから地元武士団化に成功したように見えるのであって、中央任命の守護大名が家柄だけで生き残ったのではありません・・。
生死をかけた合戦の続く時代に、元々武力のない公卿が地元に居着いたくらいでは（日々の食費に困らなくなった程度しかなく）どうなるものでもなかったでしょう。
朝廷＋征夷大将軍による正義・秩序の強制力や徴税能力喪失・・この段階で支配者と言えない状態になっていたでしょう。
まして周辺で何とか朝廷権威を守ってきた藩屏たる貴族や寺社の荘園取り分ゼロ（時折世代交代時に官職の斡旋をしたり、（今で言えば旧領から盆暮れのツケ届けが届く程度）で色紙（文化）を売る程度しか収入源がなくなってしまったようです。
これでは現在の作家や絵描き、音楽家・・各種芸人とどう違うか？となります。
荘園領主系で上からおしかけるのではなく文化力のあるものは、新興武士層の奥方系の需要に応じて（市場価値があるので）「ドサ周り」可能ですので地方に文化進出していきます。