うちは第三種換気です。
吸気口が何箇所か壁に付いてて、シンプルな換気扇で排気を行い、室内の換気を行う仕組みです。
１Ｆは玄関の換気扇を、２Ｆはトイレの換気扇を２４時間回し続けています。
熱交換などは行われない為、多少の熱損失はありますが、体感としては気になりません。
当然吸気口のすぐ横に手をかざすと、冷たい外気が入ってくるのはわかりますが、すぐに内気と混ざって温度があがるため、さして影響はないです。
それより窓からの冷気の侵入の方が多いように思います。

その吸気口にはフィルターが入っていて、汚れた外気がそのまま入って来ないようになっています。
PM2.5にも対応しているような、結構高性能なフィルターのようです。
うちは閑静な住宅街にあるため、そこまで車の往来はありません。
空気も綺麗な方だと思います。
そのため、まだそんなに汚れてはいません。

メンテナンス方法を見てみると、掃除機で吸い取るというぐらいしか書いてません。
水洗いをするとダメになってしまうようです。
それで工務店にどれぐらいの頻度、交換すればいいのかを聞いてみたところ、１年に１回ぐらいで良いようです。

この辺は使っているフィルターによってまちまちだと思います。
物によっては、水洗いして何度も使えるものもあるらしいです。
たぶんPM2.5対応のような、目の細かいものは水洗いNGなんじゃないかなと思っています。

これから春にかけて徐々に花粉が舞ってくる季節。
花粉症の方は、せめて家の中ぐらいは綺麗な空気環境にしておきたいですよね。
高気密高断熱住宅は、余計な隙間がないため、花粉などもビシッとシャットアウトしてくれます。
気密性が低いと、吸気口以外の場所から余計な外気が入ってくるため、なかなかシャットアウトが難しいかもしれません。
空気清浄器なんかを使う必要があるかと思います。
僕も妻も花粉にはあまり影響を受けない為、そこまで神経質ではないんですが、アレルギー持ちの方はその辺も気を付けて家づくりをしたほうが良いと思います。