JRに単線区間が多いため、以下のデメリットも生じるためだと思われます。

・駅前後のポイントで線路が大きく左右に曲がる→横揺れが大きくなる→大きく減速→大きく再加速→乗り心地悪化

・対向列車との交換（行き違い）に伴う待避停車増える→陛下をお待たせするのは憚られる→対向列車を全て待避させておく→非現実的

伊勢市まで全線複線の鉄道が並行しているのなら、そちらにお任せするのが最良と言うことでしょう。
（ちなみに内宮最寄り駅の五十鈴川駅まで複線）

また、非電化区間を通る都合上、JRでは気動車で走ることになりますので、エンジン音など車内の音に関しても不利なのではないでしょうか。（少なくとも、発表されたハイブリッド車の登場までは）

JR東海は「普段走らせずに置いておくだけの車両」をあまり好まないのではないかと思われる節があります。（置いておくだけにしても維持費がかかるので）

あとあの辺が単線であるその上南四日市駅までは貨物も通るから予定臨ならいざ知らず無理やりスジをねじ込むわけにいかないというのもあるのではないかと思われます。（やるのであればキハ85系を使って多気駅までは臨時「南紀」のスジを使ってそれに参宮線のスジを付け足すことでしょうけど…いくら参宮線に直行しているからといってもみえ51号のスジは朝早いから使うわけにいかないと思うので）
なので近鉄にお任せしているのではないかと。