，吕纪是有名无实的锦衣卫指挥使，相当于“挂名干部”，和吕纪同时代真正掌握实权的锦衣卫指挥使叫牟斌，和吕纪相安无事，使吕纪可以在绘画上投入全部精力。
明朝有画院，无正式编制，画师的画一旦得到皇帝赏识，赏赐黄金白银，甚至官职都有可能，画院没有正式编制，只能挂靠到别的部门，最终挂靠到锦衣卫下面，所以吕纪有了锦衣卫指挥使的官职。
吕纪的花鸟绘画，水墨淋漓，气势宏大，甚至是日本屏风画的来源之一，《柳荫双鸭图》和《幽涧双鹭图》曾在日本出版的《听松清鉴》中著录，吕纪的两幅作品不仅是明代全景花鸟画的杰作，也是中国绘画影响日本绘画的证据代表作。