東上線沿線には（川越以遠も）高校や大学もありますので、通学で朝の下り列車を利用する人が多いのかと思います。
伊勢崎線も沿線に大学がありますが、北千住～北越谷間の長い複々線区間がありますので、伊勢崎線利用者は緩急に分散しているのではないでしょうか？

私は、東上線の反対方面、あまり混んでいる実感がないです(基本、普通と、準急しか使わないからかもしれませんが、、)

小江戸川越を観光するため、朝に下りを利用して、夕方に上りを利用する人が多いのかと思います。