이미지의 크기 조절에 대해서는 style 속성을 사용하지 않습니다.
왜냐하면 <img> 태그에 출력되는 이미지는 배치(layout)로 보지 않고 콘텐츠(content)로 보기 때문입니다.
그래서 브라우저 들은 style 태그를 이용하여 이미지 크기를 조절하는 것을 허용하지 않습니다.
어렵죠.
다만 이미지는 예외적으로 <img> 태그의 속성인 width와 height으로 바로 크기를 제어한다고 알면 됩니다.

그래서 다음과 같이 하면 됩니다.
if(e.wheelDelta > 0) { // 휠을 위쪽으로 굴린 경우, 5% 씩 축소
img.width -= img.width*0.05;
img.height -= img.height*0.05;
}
else { // 5% 씩 확대
img.width += img.width*0.05;
img.height += img.height*0.05;
}