《江渚风林图》曾著录于吴湖帆《丑簃日记》1938年3月3日的日记中：
又蒋穀孙取来云林小幅，即董香光赏识之“江渚暮潮初落，风林霜叶浑稀。
倚杖柴门阒寂，怀人山色依微。
至正癸卯九月望日戏为胜伯徵君写此，并赋小诗。
倪瓒一图也。
此画为项子京旧藏，后归高江村，载入《销夏录》中者。
下角有“宋学士景濂”一印，精品也。
“宋学士景濂”印应是“金华宋氏景濂”印。
但在当天的日记中并未明确记载：《江渚风林图》是还给了蒋穀孙，还是留在了梅景书屋。
而在三个月后的6月26日日记中又有记载曰：
曹友卿携穀孙易物来，带去倪云林《江渚风林图》、毛影宋钞《梅屋诗余》、《石屏长短句》、《槃斋乐章》三书、《花草粹编》一部、金孝章校明钞《金国南迁录》一本、宋刻《后村词》一卷，倪画原非易中物，毛钞《梅》、《石》二种余旧藏。
带来余旧藏《汉侯獲碑》二轴、元拓《史晨前后碑》二本、明拓《景君》、《韩敕》、《郑固》三碑及张伯雨书轴。
以上三物去年易去，余为托穀孙经售梁楷画，故易之。
后梁画未成交，余欲易还，而穀孙不肯，索之再三，终不理会。
近观云林《江渚风林图》被余扣住将一月，乃得将原物易归，盖五汉碑皆外祖沈公物也。
上述之事的大致经过是：
吴湖帆曾委托蒋穀孙卖掉一幅梁楷画，而将《汉侯獲碑》等五种汉碑拓本转卖给了蒋氏。
但因梁楷画后来未能成交，所以吴湖帆就想将五种汉碑拓本赎回。
但他再三追索，蒋氏始终不肯。
而恰好蒋氏的藏品《江渚风林图》一个月前已在吴湖帆手中，所以扣下倪画不还。