扫罗虽然把压迫以色列人的非利士人赶出了国门，但他没有就此罢休。他明白，与非利士人的最后决战的关头还未到来。即使非利士人被以色列人彻底打败了，在迦南，以色列人仍处于异教民族汪洋大海中。
为了进一步的斗争，扫罗招兵买马，网罗有识之士。他任命了具有统兵才能的堂弟押尼珥为元帅，这为最后荡平迦南打下了基础。
押尼珥经常出击，攻击以色列国境周围的仇敌。他先后打败了摩押人、亚们人、以东人和琐巴诸王等。
但是，当时除非利士人外，以色列面临的最大威胁，还是住在西乃山和迦南之间广阔土地上的亚玛力人。要说起来，亚玛力人还是以色列的远亲，他们是雅各的哥哥以扫的后代。但是，他们现在经常成群结队地到迦南南部地区烧杀抢掠，强烈地冲击着以色列民族。
几年来，扫罗因为忙于对付其他邻近的民族，没有顾得上攻击亚玛力人。这使大祭司撒母耳很不满。撒母耳教训扫罗说：“耶和华差遣我膏你为王，治理他的百姓。你应该听从他的话：‘以色列人出埃及的路上，亚玛力人怎样待我们，怎样抵挡我们，我都没忘。现在你要去击打亚玛力人，灭尽他们所有的，不可怜惜他们。不分男女老少幼，不分牛、羊、骆驼或驴，都要尽行杀死。"”
扫罗遵旨，招集百姓会师在提拉因，数兵点将，步兵多达20万，还不算犹大人的数万士兵在内。扫罗带着这个庞大的兵团，在亚玛力人京城外的河谷地带设下埋伏，大败亚玛力人。他们接着追杀亚玛力人，从哈胖拉直到埃及前的书珥，生擒了亚玛力王亚甲。
但是，扫罗犯了不可饶恕的罪过，因为他不肯照撒母耳的命令灭绝一切牛羊牲畜，私自保留了其中肥美的部分，只把丑陋瘦弱的杀死；更有甚者，扫罗因为佩服亚甲王的坚强不屈，竟然大发恻隐之心，赐以活命。有人还对撒母耳吹耳边风：扫罗在迦密为自己立了歌功颂德的纪念碑，现在下到吉甲去了。
撒母耳闻风而动，来到吉甲。扫罗毕恭毕敬地迎他到营地之外，对他说：“愿耶和华赐福与您，他的命令我已经执行了。”
撒母耳撩着雪白的胡须，看着身旁这位低头弯腰的大个子国王，问：“我听见有羊叫、牛鸣的声音，是从哪里来的呢？”
扫罗有些不好意思地一笑，说：“这些是从亚玛力人那里带来的，因为百姓看到上好的牛羊白白地杀了觉得可惜，就留了下来，要献与您的神耶和华。其余的我们都灭尽了。”
撒母耳有些生气了，他提高嗓门说：“你住口吧！等我把耶和华昨夜向我所说的话告诉你。”
扫罗说：“请讲。”
“耶和华说，他后悔膏你为以色列的王，因为你现在不遵守他的命令。”撒母耳简要而明白地说。
扫罗一听这话急了，他不想就这样失去王位，竭力辩解说：“我实在听从了耶和华的命令，完成了耶和华派给我的任务。我灭了亚玛力人，擒了他们的王来，把最好的牲畜拉回来献给耶和华您的神。”
可是辩解已经失去意义了，撒母耳代表上帝说话，他的心已经离扫罗而去。他反驳扫罗说：“耶和华喜欢燔祭和平安祭，难道不是更加喜欢人听他的话吗？听命胜于献祭，顺从胜于公羊的脂油。悻逆的罪，与行邪术的罪相等；顽梗的罪，与拜虚神和偶像的罪相同。你既厌弃那和华的命令，耶和华也厌弃你作王。”
扫罗见硬顶没用，态度马上软了，他说：“我知道我有罪。现在求您同我一同回营去，我好敬拜耶和华。”
“今天那和华使以色列国与你断绝关系，将这国赐与比你更好的人。”
撒母耳并不愿意给扫罗这个面子：跟他进营地，就等于承认他作王的地位。撒母耳说完，转身要走，扫罗就扯住他外袍的衣襟，不肯撤手，直到把衣襟扯坏。
大祭司过大营而不入，将使扫罗的国王地位失去神圣的光环。
扫罗不顾尊严，再一次苦苦哀求：“我承认，我有罪。尽管如此，在还没有新国王代替我发挥作用之前，求你看在耶和华的面子上，跟我进去一趟，在全会众面前抬举我。”
撒母耳想，现在还不是给扫罗的颜色看的最后时刻。于是他改变了主意，转身跟随扫罗回去，扫罗就作大祭司的助手，敬拜上帝。
行完敬拜礼，撒母耳说：“把亚玛力王亚甲带来。”
亚甲一听以色列的大祭司召见，以为会有什么赦令发布，就欢欢喜喜地出来。
撒母耳委婉地宣布了对亚甲的死刑判决：“你既用刀使妇人丧子，同样，你母亲在妇人中，也必丧子。”撒母耳说着在吉甲耶和华的神坛面前，将亚甲杀死。
当时，在吉甲的将士并不知道国王与大祭司之间的冲突。
不久，撒母耳回到拉玛琐非，至死未同扫罗见面。但他放出风声说，他不该立扫罗为王；耶和华也后悔立扫罗为王。
撒母耳开始隐秘地物色新的国王人选。