無領(lǐng)導(dǎo)小組討論具有生動(dòng)的人際互動(dòng)效應(yīng)，通過被評(píng)價(jià)者的交叉討論、頻繁互動(dòng)，能看到許多紙筆測(cè)驗(yàn)?zāi)酥撩嬖囁荒軝z測(cè)的能力或者素質(zhì)，如被評(píng)價(jià)者在無領(lǐng)導(dǎo)小組討論中會(huì)無意中顯示自己的能力、素質(zhì)、個(gè)性特點(diǎn)等，有利于捕捉被評(píng)價(jià)者的人際技能和領(lǐng)導(dǎo)風(fēng)格，提高被評(píng)價(jià)者在真實(shí)團(tuán)隊(duì)中行為表現(xiàn)的預(yù)測(cè)效度。
然而，無領(lǐng)導(dǎo)小組討論的一個(gè)突出缺點(diǎn)就是基于同一個(gè)背景材料下的各個(gè)不同小組討論的氣氛和基調(diào)可能完全不同。有的小組氣氛比較活躍，比較有挑戰(zhàn)性，而有的小組的氣氛則比較平靜，節(jié)奏比較緩慢，甚至顯得死氣沉沉。一個(gè)被評(píng)價(jià)者的表現(xiàn)會(huì)過多地依賴于同一小組中的其他被評(píng)價(jià)者的表現(xiàn)，一個(gè)很健談的人遇到了一些比他更活躍的人物時(shí)，反而會(huì)讓人覺得他是比較寡言的，一個(gè)說服力不是很強(qiáng)的人在一個(gè)其他人更不具有說服力的群體中，反而會(huì)顯得說服能力很強(qiáng)。這說明不同無領(lǐng)導(dǎo)小組討論小組之間缺乏橫向比較性。
另外，無領(lǐng)導(dǎo)小組討論對(duì)測(cè)試題目的要求較高，題目的好壞直接影響了對(duì)被評(píng)價(jià)者的評(píng)價(jià)的全面性與準(zhǔn)確性。這種評(píng)價(jià)方式對(duì)評(píng)價(jià)者的評(píng)分技術(shù)要求比較高，而且評(píng)價(jià)標(biāo)準(zhǔn)相對(duì)不易掌握，評(píng)價(jià)者必須接受專門的培訓(xùn)。對(duì)被評(píng)價(jià)者的評(píng)價(jià)易受評(píng)價(jià)者的主觀影響(如偏見和誤解)，這容易導(dǎo)致評(píng)價(jià)者對(duì)被評(píng)價(jià)者評(píng)價(jià)結(jié)果的不一致。被評(píng)價(jià)者有存在做戲、表演或者偽裝的可能性，其經(jīng)驗(yàn)可能也會(huì)影響其能力的真正表現(xiàn)。
