你的看法原則上是對的，但并不絕對，比如頻度副詞often, rarely等就有比較級和最高級：more often / most often；more rarely / most rarely。　　

還有表示不定時間的副詞soon也有比較級和最高級：sooner / soonest。