東海道・山陽新幹線では、東京～博多間で「のぞみ」「みずほ」と「ひかり」「さくら」「こだま」とを乗り継ぐ場合を除き、2つ以上の新幹線の列車を途中で乗り継いでも特急料金は全乗車区間で計算されますので、東京→新大阪、新大阪→博多と「のぞみ」を乗り継ぐことができますね。
ただし、途中駅の改札を出ることはできませんので注意が必要です。

東京～博多間の「のぞみ」自由席特急料金は7990円、普通車指定席特急料金（通常期）は9130円で1140円の差があるのですが、自由席でなく指定席にされたほうがいいかなとは思います。
「のぞみ」の自由席は両数が少ないですし、ちょっと席を離れている間に座られてしまったら困りますので。指定席で席が確保されているほうが気が楽です。

新幹線の特急料金は、一部例外を除き、2つ以上の新幹線の列車を途中で乗り継いでも、新幹線の全乗車区間を通しで計算します。

JR東海: 特急券(新幹線の特急料金)
https://railway.jr-central.co.jp/ticket-rule/rule31.html
JR西日本: 新幹線の特急料金(JRおでかけネット)
https://www.jr-odekake.net/railroad/ticket/guide/express_tickets/limited_express04.html
JR九州: 特急料金など
https://www.jrkyushu.co.jp/railway/ticket/rule/03/
JR東日本: 特急券
https://www.jreast.co.jp/kippu/1203.html
JR北海道: 特急券・急行券
※PDFです。
https://www.jrhokkaido.co.jp/network/guide/pdf/rule_13.pdf

自由席特急券をお持ちであれば、
自由席のある（全席指定ではない）列車のどれでも乗車可能です。

ただし注意点があります。
東京〜博多の自由席特急券を通しで1枚だけお持ちの場合、利用できるのは事実上「のぞみ」だけとなります。（それも東京〜博多ののぞみに限る。ひかり・こだまには同区間の設定なし）
と言うのは、特急券は乗車する列車ごとに必要になりますので、東京〜新大阪 ＋ 新大阪〜博多のように分けて乗車する場合はそれぞれ別の特急券が必要になるからです。
反対に複数の特急券で1本の列車に乗ることは可能ですので、上手く使うと特急料金を安く抑えられます。
詳しくは冊子の時刻表巻末に載っている新幹線の特急料金表をご覧下さい（5〜600円のコンパクトサイズでも載っていますし、主要駅の窓口付近にも閲覧できるように置いてあります）