词中的那句“针线闲拈伴伊坐”还引发过一些争议。宋代词坛领袖晏殊就不以为然。据宋人张舜民《画墁录》载：“柳三变既以词忤仁庙，吏部不放改官。三变不能堪，诣政府。晏公曰：‘贤俊作曲子么？’三变曰：‘只如相公亦作曲子。’公曰：‘殊虽作曲子，不曾道‘彩线慵拈伴伊坐’。柳遂退。”
此事说的是景祐元年（1034），快五十岁的柳永终于中进士任了个低级官吏。后来任职期满想改任京官，于是他便拜访宰相晏殊。晏殊是有名的伯乐，慧眼识才，当年曾向皇帝推荐出身寒门的范仲淹、欧阳修。他也读过柳永的诗词，立即客气地接见了他。闲谈中，晏殊正襟危坐，和颜相问：“听说贤俊最近写了不少曲子词。”
柳永应答道：“是的，就像晏大人一样喜欢写些曲子词？”
晏殊听了心中不悦，面有愠色：“晏某虽然也写词，但从不涉低级卑俗，如那些‘针线慵拈伴伊坐’之流！”
柳永听了无言以对，只得默默退下。
为什么同是作曲子词，晏殊却会认为他们之间有着本质的不同，不愿与柳永为伍？
那句“针线闲拈伴伊坐”中，所表达的是一个朴素又真实的日常生活场景，是一种细碎片段的温暖感受。显然在这里，柳永注重内心情感的真实性，把女性放在彼此平等的感情认同上。柳永这种注重把日常生活中的朴素温情作为人生的重要支点，而不是“齐家治国平天下”，这一点上，晏殊是很不认同的。所以，偶尔儿女情长，是文人的风流；而将情感生活作为人生的恒态，甚至作为一种信念和追求，在当时的士人看来就是沉溺和堕落。柳永在这一点上成为文人士大夫群落中的异类。