「中世の非人と遊女」（網野善彦著）によれば中世の非人は天皇や神社の直轄下にあり社会的には「聖」なる特別な階層であったが、南北朝時代を境に天皇の権力が失墜するに従い中世後期には特別な階層ゆえに社会的蔑視の対象になった。
何故に非人に対するこのような180度変わった社会的な見方が現れたのであろうか？
「山椒大夫」などの説経節からもわかるように日本の中世は「奴隷制」の社会であったが、武士の権力が強くなった中世後期から封建制に移行したと考えられている。非人に対する180度の見方変化もこの時期である。この一致は何か意味があるのかもしれない。