遣唐使团组织完备，使团官员是正使、副使、判官、录事（正式外交官员）。使团成员除约占半数的舵师、水手之外，还有知乘船事（船长）、造舶都匠（造船技术负责人）、译语（翻译）、主神（掌祭神者）、卜部（掌确定航行方位、测定风力者）、阴阳师、医师、画师、乐师、史生（文书）、船师（航海长）、杂使（杂役）以及船匠、木工、铸工、锻工、玉工等各行工匠，其职务类别将近三十种。随行人员有长期在唐居留的留学生、留学僧和短期入唐将随同一使团回国的还学生、还学僧。还有从事保卫的射手。唐初，日本派出的遣唐使团一般是二百多人，乘船二艘，从八世纪初开始，人数倍增，一般为四艘船，五六百人。717年派出的遣唐使为557人，733年派出的为594人，838年派出的为651人。其中有的船中途遇难，入唐的也只有少数的主要成员被允许进入长安。
遣唐使的航线从七世纪三十年代到七十年代的四十年间，采取北路，即由难波（今日本大阪）登舟，通过濑户内海，从博多（今日本福冈）出发，沿朝鲜半岛西岸北行，再沿辽东半岛南岸西行，跨过渤海在山东半岛登陆，再由陆路西赴洛阳、长安。这条航线大部分是沿海岸航行，比较安全，船只遇难情况较少。以后因新罗灭百济、高句丽，统一朝鲜半岛，与日本关系一度紧张，于是遣唐使船在七世纪七十年代到八世纪六十年代这一百年间，航线改取南岛路，即由九州南下，沿南方的种子岛、屋久岛、奄美诸岛，向西北横跨中国东海，在长江口登陆，再由运河北上。这条航线主要航行于渺茫无际的东海上，靠岸困难，危险较大。北路和南岛路航行时间都需三十天左右，甚至更长时间。遣唐使后期，航线改取南路，即由九州西边的五岛列岛迳向西南，横渡东海，在长江口的苏州、明州一带登陆，再由运河北上。航行时间较短，一般十天左右，甚至只需三天，但风涛之险与南岛路基本相同。
古代名画遣唐使的目的在于学习、吸取唐朝文化，因而对使团人员的选任，特别是正使、副使、判官、录事等使团四官的选任是非常谨慎的。例如正使除具外交才能外，还须有堂皇的仪表，优雅的风度，及关于中国的知识和礼仪方面的较深修养。如第三次遣唐押使高向玄理曾在隋留学三十五年，后来成了大化改新的最高政治顾问国博士。第十次遣唐副使吉备真备曾留唐十七年。此外任过正使的多治比广成好文学、诗歌；藤原常嗣游大学，能“史”“汉”，谙《文选》；未成行的副使小野篁文章无双，草隶兼精；录事山上忆良是著名的万叶歌人。有两家父子先后被任命为使臣，也是由于具有教养和经验，利于向唐朝学习。总之，参加遣唐使团的或博于经史，或长于文章，或精于书法，尽皆风度翩翩的饱学之士。就是下层的医师、工匠、乐师、水手等也都是本行业的佼佼者。
遣唐使在完成外交使命的同时，还担负着进行文化和贸易活动的任务，他们既是文化使者，又是国家商人。在文化上他们要进行考察、学习和引进，唐帝国则热情提供方便。如唐玄宗命朝衡陪同遣唐使参观府库藏书，又应遣唐使的要求，令四门助教赵玄默去鸿胪寺为其讲课“授经”。他们大量采购图书，吉士长丹等因从唐朝带回很多书籍和宝物而得到天皇赏赐③。使团中技术和艺术人才在唐期间也努力学习，准判官藤原贞敏善弹琵琶，人唐后拜琵琶名手刘二郎为师深造，并与刘二郎之女成亲，回日本后，贞敏出任雅乐助和扫部头，成为日皇宫廷音乐的负贡人。遣唐医师菅原棍成，在唐期间就教于名医，回国后任针博士，后来做了御医。其他木工、锻工、铸工等都是人唐参观学习该行业最新技艺的。至于正使、副使、判官、录事等，不少人后来在朝廷中任重要职务，由于他们能不同程度地接近朝廷政治中枢，便能将在唐朝期间学得的知识变通融会于日本各项制度和政治施策中去。总之，遣唐使在学习和引入唐文化方面起着十分积极的作用。遣唐使同时也是贸易代表团，它把日本的大批“国信物”（对唐的赠品）船载以来，又把唐朝的大批“回赐”（对日本的答礼）船载以归，实质上承担了唐日之间产品交换的任务，遣唐使带来珍珠绢、琥珀、玛瑙、水织绝等贵重礼品，1970年在西安发现的日本“和同开弥”银币很可能就是遣唐使带来的。唐政府回赠高级丝织品、瓷器、乐器、文化典籍等。日本奈良东大寺正仓院保存的唐代珍贵文物中，有一部分就是遣唐史带回去的。这样的赠品和答礼，实际是两国之间互通有无的贸易。
为吸收中国文化成果，日本选派了不少留学生来唐学习，这些留学生若以学习方式和年限为准，可区分为一般留学生、请益生和还学生。请益生类似今之进修生或访问学者，在国内已有所长，入唐求教和深造。还学生亦如此，不过他们是与遣唐使同去同还。他们在史籍上留下姓名的计二十六人，这只是其中的一小部分。他们被分配到长安国子监，大部进太学学习。一般留学生学习年限较长，动辄十年二十年，与中国诗人、学者结下深厚友谊；有的参加唐朝科举考试“及第”而步入仕途。留学生在学习之余，还搜购中国典籍、书画、乐器、工艺品、文具、衣服甚至武器等，以便归国时带回。唐昭宗大顺二年（891），据藤原佐世撰《日本国见在书目录》，日本保存的汉籍计分易、诗、乐……共四十家，一千五百七十九部一万六千七百九十卷。这些汉籍大部分是遣唐使和留学生带回的。留学生回国后，由日本朝廷安排在教育、医药、刑律、艺术等不同部门工作，使他们能发挥自己的学术和技术特长，在日本社会的进步和文化发展上起过相当重要的作用。他们和日本人民群众一起，为这个原本落后的岛国的迅速发展作出了重大的贡献，也为加强中日友好作出了历史贡献。著名留学生阿倍仲麻吕汉名朝衡或晁衡，十七岁入唐，进国子监的太学学习，成绩优秀，通过唐朝的科举考试，踏上仕途，长期居留中国，擅长诗文，在唐历任左拾遗、左补阙、光禄大夫兼御史中丞、卫尉卿兼秘书监、左散骑常侍、安南都护等职。天宝十一年（752）藤原清河出使长安，朝衡再一次提出回日申请（第一次提出在开元二十二年，未获许可），终于得到玄宗允许。他留恋自己生活多年的中国和中国友人，写下了“西望怀恩日，东归感义辰。平生一宝剑，留赠结交人”的诗句。王维写了《送秘书晁监还日本国并序》：
积水不可极，安知沧海东。
九州何处远，万里若乘空。
向国唯看日，归帆但信风。
鳌身映天黑，鱼眼射波红。
乡树扶桑外，主人孤岛中。
别离方异域，音信若为通。
在诗序中盛赞唐日友好并期待朝衡重返中国。但他乘的船只途中遇风暴，漂流到安南，人皆以为该船已失事，李白写了《哭晁卿衡》的动人诗句：“日本晁卿辞帝都，征帆一片绕蓬壶。明月不归沈碧海，白云愁色满苍梧。”④但经历千难万险，朝衡又回到长安，终老于唐。在他逝世一千二百多年后，中日两国人民分别在西安和奈良为他树立纪念碑，表彰他为中日友好所做的历史贡献。吉备真备二十二岁人唐，在中国留学十七年，研习经史、历算、阴阳、天文等学科，并携回大量中国书籍和器物。一行和尚所造的大衍历，在吉备真备带回不久即为日本所采用。他由留学生而任日本遣唐使节归国后官至左大臣，极力推广唐代文化，是早期中日交往中有影响的人物之一。
遣唐留学僧见于文献的达九十人。他们和留学生一样也分为一般留学僧、请益僧和还学僧。他们在中国巡礼名山，求师问法，带回大量佛经、佛像、佛具等，同时传入了与佛教相关联的绘画、雕刻等，对促进日本文化的发展起了作用。最澄、空海分别创立了日本的天台宗和真言宗，并且仿效唐朝，开创了日本佛教在山岳建寺的风气。空海回国时带回一百八十多部佛经。他除研究佛经外，广泛吸收中国文化，是成绩卓著的文学家、书法家和教育家。由其弟子编成的《性灵集》（十卷），收录了他的诗赋、表文、碑铭等支学作品，他给最澄的亲笔信被称为《风信帖》，被定为日本国宝。他对中国的文学和文字有深刻的研究，在中日文化交流方面做出了重要贡献。空海所著《文镜秘府论》、《篆隶万象名义》和圆仁留唐十年的日记《入唐求法巡礼行记》，是研究中国和日本的文艺批评、文字学和历史的重要文献。
如同阿倍仲麻吕等日本人在唐作官、从事文化和宗教活动一样，也有不少唐人在日本作官和从事文化、宗教活动。遣唐使回日，唐朝有时派遣“送使”同去，前后共八次，每次常常数十人。使者完成使命后即应回国，但由于航行艰险，也有不少人居留下来，归化日本。如沈维岳、袁晋卿等，见于日本史书的有十八人。沈维岳被授从五位下，作了美作权椽，袁晋卿叙从五位上，作大学音博士，历任大学头、安房守等官职。这些唐人在介绍唐文化和促进日本文化的发展方面都有所贡献。
唐朝僧人也有随遣唐使赴日本的，在古代中日文化交流中作出最杰出贡献的是唐高僧鉴真。
鉴真（688—763）日本常称为“过海大师”、“唐大和尚”，俗姓淳于，扬州江阳县（今江苏扬州）人。其父以经商为生，笃信佛教，曾就扬州大云寺智满禅师受戒学禅。家庭对鉴真影响极深，十四岁（一说十六岁）时随父入大云寺朝圣，见佛像而动心，请求出家，父奇其志而允许，遂就智满禅师剃发出家为沙弥（初出家的童僧），配住大云寺，鉴真是其法号。从此开始佛学研究生涯。十八岁受菩萨戒（表明已具备作为僧侣的基本条件），此后青年时期的鉴真曾巡游东都、长安，遍投名师，潜心钻研佛教经典。同时对佛教艺术、建筑、医学等苦心钻研，极富素养。二十一岁在长安受具足戒（受戒仪式完成即具备僧籍）。在两京六年切磋，使鉴真成为知识渊博的僧侣。开元元年（713），二十六岁的鉴真自两京回扬州，定居扬州大明寺（今扬州法静寺）。其后四十余年间，在江淮一带宣讲律藏，为俗人剃度传授戒律先后达四万余人，其中著名僧侣有二百三十余人，江淮问尊鉴真为授戒大师。同时他主持修崇福寺、奉法寺等大殿，主持建筑寺院八十多处，并指导塑造、绘制大量佛像和壁画，抄写上千卷佛经，鉴真成为德高望重名扬四海的高僧。