上越新幹線の高崎以北は乗ったことが無いので、車窓の展望は自動車から見た様子からの想像ですが、左右どちらも比較的均等に見どころがあるのではないかと思います。
（左右ともに山岳〜左右ともに新潟平野）
平野部に出てからは、やや右側の方がアクセントはありそうです。
そして毎度おなじみの日差しに関しては、埼玉県内以外は左側の方が良いでしょう。

上越新幹線で新潟に行くときは、何気なく進行方向左側（西側）の窓側席にしています。
高崎駅到着前に上信電鉄の鉄橋と佐野のわたし駅を見て、長岡駅到着前に長岡車両センターを見たりしています。

進行方向右側にするかと思います。大宮を過ぎて東北新幹線と分かれるところを見たり、高崎手前では赤城山、長岡を過ぎてからは広大な越後平野を眺めたりします（越後平野は左側でも見られますが）。

トンネルが多いので、どちらでもいいかなぁと思います。
自分は最近、新幹線に乗ったときは景色を見ることがなく、タブレットに入れた映画とかを見たりしています。

自分なら進行方向右側にします。
以前、北陸新幹線の窓側席の質問でGTOさんが回答されていましたように、進行方向右側は3人席ですので、真ん中の席に人が来ることは少ないと思われるからです。