1943年日本侵略者對晉察冀邊區實行“搶光、殺光、燒光”的瘋狂政策,那時敵后抗日根據地正處于“黎明前的黑暗”。根據形勢的需要,1942年毛主席在《在延安文藝座談會上的講話》提倡文藝工作者要更進一步地深入生活,反映生活。牧虹和盧肅所在的西北戰地服務團也組織小分隊深入到河北平山和山西繁峙的廣大農村參加斗爭。抵達平山后,服務隊扎根于廣大群眾之中,加入當地減租減息斗爭和保衛麥收的工作中。
平山縣黨史辦副主任郄新龍表示當時服務隊到達平山后,朝夕和百姓生活在一起,不僅組織群眾生產自救,領導農民開展減租減息運動,還走入鄉村做演出宣傳。廣大農民為爭取合法權利,奮起斗爭的行為和勇氣觸動了這些文藝工作者。為了反映當時情形,牧虹和盧肅就執筆創作了一部小型歌劇《團結就是力量》。歌劇劇情確定后,大家覺得結束有些突然,缺乏終止感。綜合大家建議,決定由牧虹同志寫詞,盧肅同志譜曲,為該劇增加一個幕終曲,于是創作出了《團結就是力量》。
這首歌產生的另一層背景是,隨著抗戰進入最艱苦的相持階段,社會上產生了一股消極抗戰的逆流。牧虹和盧肅意識到全社會各種力量共同抗日的必要性,只有團結起來形成鋼鐵般的力量才能無堅不摧,所以創作了這首歌曲。