選択肢に飛行機が入っているので、あまり大物は想定されていないものと仮定しますと、
距離当たりのコストは

飛行機 > レンタカー > 鉄道 > バス > 自家用車 > ヒッチハイク

になるかな、と思います。所要時間は

バス > ヒッチハイク > レンタカー＝自家用車> 鉄道 > 飛行機

となるのではないかと思いますが、時間を取るかと言うことになると思います。
ただ、レンタカーについてはレンタル料金＋燃料代に自身の運転負担が加わりますので、大物買いで大きな車を借りなければならない場合とか、燃料代込みで格安のプランがあるか、さもなければ自分で運転するのが大好きで たまにはいい車で出かけたい、とかいうのでなければあまりお勧めは出来ませんね。

自分でしたら自家用車か鉄道にすると思います。
札幌 ↔ 釧路ですと、東京から名古屋や仙台くらいですよね。十分ハンドル握る距離です。

やっぱり、高速バスで移動するほうが運賃が安くていいのではないでしょうか。
「釧路特急ニュースター号」であれば夜行便もありますので便利かと思います。
ただ、冬季など天候によっては遅延や運休となることも考えられますので、そのような場合はJRの特急「スーパーおおぞら」を利用するかと思います。

コストパフォーマンスの比較を数字で表すとき、どういう計算をしますかね。
自分は免許を持たないので車は除外します。
一番簡単なのは、金額×時間でしょう。

いわゆる正規料金で比べれば、
高速バス＜ＪＲ特急＜（バス＋ＡＮＡ＋エアポート）
で高速バスの勝ち。
ただＪＲ特急も「えきねっとトクだ値」なら１５％引き、時間帯無視すれば４０％引きもあります。
飛行機も「ANA SUPER VALUE 75」なら7070円の設定がありますね。(75日以前の予約)
と割安のチケットが有り、いい勝負じゃないでしょうか。

欲しいものが決まっていれば、ネットショッピングが一番のコスパですね。

運転する疲れがない、価格が安いというところで高速バスでしょうか。くしろバスが運行する「スターライト釧路号」にも夜行便があります。