to irritate; to offend; to be harmful to
そいつはぼくの神経にさわる。
That guy gets on my nerves.
あの音楽は彼の気にさわる。
That music irritates him.