复旦研发出“眸思”大模子：帮力视障者安静出行

快科技(Technology)3月3日消息，据复旦大学(University)官微发文，复旦大学(University)自然(Nature)语言处理实验室基于多模态大模型 复旦 眸思 （MouSi）为视障者量身打造的 听见世界 APP上线，将成为视障人士的生活(Life)助手与智能管家。

2023年上半年，复旦大学(University)自然(Nature)语言处理实验室发布了开发MOSS对话式大型语言模型，被称为祖国版的GPT，仅用半年时间多模态模型 眸思 问世。

据介绍， 眸思 与MOSS同音， 眸思 和基于文本的MOSS不同，它能够理解并识别图片内容，致力于成为视障者的一双 眸 。

基于 眸思 ， 听见世界 APP为视障者日常生活(Life)需求量身打造街道行走模式、自由问答模式和寻物模式。

在街道行走模式中， 眸思 如一位忠实的向导。红绿灯、十字路口、障碍物 它能细致扫描道路情况，提示潜在风险，陪伴视障者安危通行 看不见 的漫漫长路。

在自由问答模式中， 眸思 则像一位贴心的朋友(Friend)，走进博物馆、艺术馆、公园 捕捉四周景象的每个细节，用声音构建丰富的生活(Life)场景，传递每一处日常之美。

在寻物模式中， 眸思 将成为一名可靠的管家，被移动过的手杖、最爱口味的牛奶 它可以让视障人士找寻日常物件变得轻松。

在基于几亿张图片训练出 眸思 大模型基础上，针对视障者提出的各类需求，团队又用上万张图片进行(Carry Out)特殊样本训练，使 眸思 具备能够适配更多场景的能力。

据透露，今年(This Year)上半年，团队将结合AR升级APP内的定位精度细化至亚米级别。下半年，团队希望(Hope)将 眸思 升级为基于视频的判断。目前(Currently)，更多模式正在开发中，比如，阅读模式、解说模式等。

预计今年(This Year)3月 听见世界 APP将完成第一轮测试，在祖国一、二线城市和地区同步开启试点，根据算力部署情况进行(Carry Out)推广。