牛山岛海域风浪很大。每年9月至第二年3月是东北风季节，风力大都超过7级；即使在风力较小的4—8月份，也因为台风经常过来串门，水深流急，流向多变，在风浪里，工作船只如同一片树叶，时而被巨浪举上了天，时而又被巨浪摔到谷底，无法进行潜水作业。海军猎潜艇摇晃达到40
度，天线的固定钢索都被巨浪打断了。所以，一年之中，为了确保安全，只能时干时停，三分之二的时间不得不望洋兴叹。
打捞海域位于台湾海峡，当年，大陆与台湾处于敌对状态。金门、马祖等岛屿的炮战还在进行中，台湾海峡基本上为台湾当局的海军控制，大陆的商船需要通过海峡，往往集结成一定数量的船队后，由我方海军特派军舰予以武装掩护，并经灯火管制后夜航通过。而大型沿海船舶，则采取绕道台湾以东到公海里航行的办法。
打捞工程上马之初，有关部门就考虑到打捞时，很可能会受到台湾当局的海军舰艇的袭扰，做好了应对预案。对打捞作业的军事掩护的部署，由福州军区统一组织、实施。在陆路隘口进行了布防，海上调集了驱逐舰、护卫舰、猎潜艇等作战舰艇全天候守卫，战机24小时待命。当时，中国海军吨位最大的主战舰艇是苏制的鞍山号（舷号为“101”）、抚顺号（舷号为“102”）、长春号（舷号为“103”）与太原号（舷号为“104”）驱逐舰，舰上装备了国产最先进的“HY-2”导弹，号称“四大金刚”。为了确保海上威慑，鞍山号、抚顺号奉命南下，担负了打捞阿波丸沉船的护航警戒任务。
当时制定的作战方针是，所有海空军巡逻限制在规定的打捞作业区域以内，不刺激金门、台湾等地“台军”；但如台湾方面对我进行侦察、干扰，无论从空中来、海上来、水下来，都要坚决予以反击，彻底歼灭之。
果不其然，打捞工程开工不久，台湾当局就不请自来，每天都派战机到打捞作业场海域侦察，我飞机随即升空进行驱赶，警戒舰艇严阵以待，作业场经常拉响防空警报。官兵们只要听到防空警报，便立刻放下手中的活计，跑步进入战斗岗位，高射机枪子弹上膛，瞄准敌机，随时准备射击。但时间一长，大家发现，台湾飞机都是在空中盘旋几圈，参观一下，就飞走了。习惯以后，大家也就不再紧张了。即使是他们飞来了，打捞人员仍然实施潜水作业，该干什么就干什么。有的人还故意挥动草帽，对天上的台机高喊：“施工重地禁止参观，胆敢骚扰立刻击落！”
到了1978年，台湾飞机可能发现打捞工程对他们没有多少威胁，所以，就逐渐减少了侦察次数；再后来，连台湾飞机的影子也看不见了。
阿波丸打捞工程揭开盖头之后，在国际上引起了热议。一些国家表现出少有的兴奋。有的提出了到打捞现场实地参观的申请，有的要求提供新式设备、合作打捞，最为露骨的，是一个自称为“代表日本新一代”的日本人，于1979年7月，直接写信给中共领导人华国锋，非常不友好地说：“阿波丸完全是日本国籍的船，是战争时期在公海上被击沉的船。贵国把阿波丸打捞上来了，阿波丸上所有的东西全部权利属于日本。特别是阿波丸上装有庞大的金块，我想贵国已把这些金块打捞上来了。我以日本国民的名义，要求中国将全部金块归还日本。”并且威胁说，“将来，如果阿波丸的金块不归还的话，将会成为战争的根源，有害于中日友好的。”对于这些杂音，打捞工程领导小组一般都是置之不理，但客观上，对于打捞的顺利进行，还是有一定的消极影响的。
最为艰险的，还是风里行、浪里钻的潜水员们。当时，国际上把水深60米定为空气潜水“禁区”，但是，阿波丸船底在水深60米以下，沉船上覆盖着3
米多厚的烂泥，海生物厚达30
厘米，必须清理。为了将埋在淤泥里的锡锭、铝块等打捞上来，潜水员们不得不以牺牲健康为代价，一次次地打破潜水极限。潜水员要承受六七个大气压，在水下头脑发昏、嘴唇发麻，就像喝醉酒一样，晕晕乎乎，这样做，对潜水员的身体危害较大。为了把船舱里的财物尽量多地打捞上来，还要经常进行水下爆破。药量小了，炸出了口子无法穿行，属于无用之功；药量大了，可能给潜水员及其海面船只带来损害；而且，水下爆炸后，藏在沉船里的海鱼就会被炸得支离破碎，浮到海面上，海风吹过，满鼻子都是鱼腥味，引来成群的鲨鱼。一天，打捞作业正在进行中，突然，海面上鱼儿乱蹦，海蛇乱窜，有经验的海员大叫了一声：“不好，有鲨鱼！”果然，一头凶猛的虎头鲨正向一个潜水员发起攻击。潜水员发现危险，左躲右藏；船上的战友们，一边敲击甲板惊吓、驱赶鲨鱼，一边将潜水员迅速拖上船来。即使这样，潜水员还是被鲨鱼咬了一口，脱去潜水服，可以清晰地看见鲨鱼深深的牙印子，小腿上鲜血直流……
打捞工程被突然叫停
尽管潜水员们面临危险，但这是国务院和中央军委批准的重点工程，是在为共和国寻找现代化建设的资金啊！因此，沉船上的金库还是吸引着他们。
海军潜水员在沉船驾驶台附近作业时，突然发现桅杆下有扇小门，可是潜水员怎么也钻不进去，只好向工地指挥部报告。
人们在图纸上一核对，根本就没有那个小舱室。为了弄清问题，海军打捞技术人员决定采用电割，把秘密舱室打开。
海底电割是危险作业。如果舱室附近有油气，容易发生爆炸，过去在江阴打捞沉船时就发生过类似事故。电割能手、海军潜水员周文刚，下潜到沉船舱室位置，先顺好导线，夹上割条，用潜水刀铲除海生物，然后用割条在甲板上一敲，瞬时喷出高达7000度的烈焰。冰冷漆黑的海水，红彤彤的一团火焰在晃动，活像一朵珊瑚花。
周文刚心里想，据外电许多资料证明，阿波丸有3
个金库，为什么一个也找不到呢他渴望他脚下这个秘密舱室里，能装满金银珠宝。经过两个潮水时间的奋斗，“秘密”舱室终于打开了。周文刚钻了进去。他憋住呼吸，伸手往烂泥里摸，东摸西摸，触摸到一大堆环形硬物。难道这真是金玉镯之类的宝物在甲板上等待结果的人们更是焦急，他们围挤在绞车旁，等待着奇迹的出现。
甲板上一片寂静，人们屏声敛气，只有绞车吱吱咯咯地响着，好像把人们的心越绞越紧。不一会儿，装着打捞物的铁筐被提出水面，吊放在甲板上。
人们一看，全都愣住了。这哪里是金玉之宝，全都是些铁夹子。
金玉之宝在哪里人们在献计献策，提出自己的设想。有人说，金银宝器装上船，肯定是在十分机密的情况下进行的。人们判断，财宝可能是藏在船长室里。于是，人们把注意力集中到船长室。
海底漆黑一片，潜水员们顺着过道摸进了船长室。在船长室里，他们把所有的箱子、柜子通通撬开，但是，并没有发现什么金银财宝。突然，一只封得严实的铁桶，被翻了出来。潜水员们费了很大劲，把铁桶上的螺帽拧开，再把这只铁桶从舱室内搬出来。
铁桶被吊出水面，人们七手八脚打开铁桶，倒出来一看，全是些碎瓷片。
直到这时，人们才产生疑问：这艘沉船上究竟有没有传说中的金库……
在《威震海疆——人民海军征战纪实》一书中，海军作家如此写道。
其实，不仅是参战的海军官兵，所有参加、关心阿波丸沉船打捞的人士，莫不心存问号，而且，随着时间的推移，这个问号越画越大。
千呼万唤，见证奇迹的时刻终于到了。
1980年7月2日，海面风平浪静，碧波荡漾，在牛山岛海域，是一个十分难得的好天气。当年全国最大的海上巨无霸、排水量2000吨的大力号浮吊船，伸出相当于上海24层国际饭店高度的巨臂，牵动着两只巨钩（每个可以起吊载重1250吨），缓缓地降到海底深处；船艏已被潜水员事先切割，并用钢绳捆绑好了。潜水员将钢绳小心地挂在巨钩上，赶紧撤退到安全位置，发出起吊信号。
随着指挥员的一声尖厉的哨子声，巨臂伸展，滑轮转动，钢缆不断收紧，海面上水花四溅，船艏以每分钟一米半的速度，匀速上升。当船艏距离海面30米时，为了保证起吊安全，指挥员下达了“停吊”口令，然后，大力号浮吊船收起铁锚，被拖轮慢慢地拖到了浅水区。
三天后，在平潭岛草屿锚地，大力号收短钢缆，将船艏残块放在了海滩上，沉船浸泡在海水里35年，早已锈迹斑斑，但焊在船艏上的“阿波丸”三个钢字及其英文名称缩写“AAAR”，却清晰可见。
7月9日，沪救捞3号又在打捞现场找到了一只船钟，底部口径为20.2厘米、高18.9厘米。上面刻着3个大字“阿波丸”，并有建造年代和所属公司：“昭和十七年，日本邮船株式会社。”
这一切物证，无可辩驳地证明，阿波丸工程队打捞的，正是阿波丸沉船。