ずっと以前から ntpd が、下のようなログを吐いていたのだけれど、時刻の同期はできているようなので放置していた。

...
kernel time sync status change 0x2001<PLL,NANO,MODE=0x0=PLL,CLK=0x0=A>
kernel time sync status change 0x6001<PLL,NANO,MODE=0x1=FLL,CLK=0x0=A>
kernel time sync status change 0x2001<PLL,NANO,MODE=0x0=PLL,CLK=0x0=A>
kernel time sync status change 0x6001<PLL,NANO,MODE=0x1=FLL,CLK=0x0=A>
...

ふと気になったので調べてみると、対処方法があるらしく、server 行に maxpoll 9 を記述すれば良いらしい。
（参考： http://blog.livedoor.jp/dankogai/archives/51686051.html）

...
# The option `maxpoll 9' is used to prevent PLL/FLL flipping on FreeBSD.
...

NetBSD の ntpd にも対策として有効かどうか、試してみたらエラーは出なくなった。何かのタイミング的な問題かな?

その他、ntpd の設定の参考になりそうなページ（http://d.hatena.ne.jp/incarose86/20110505/1312522379）を見かけたのでメモがわりに貼っておく。