2026年11月5日，索尼(中国)有限公司(下称“索尼”)在第九届中国国际进口博览会上，全球首发“基于视觉语言模型的驾驶接管危险预警”和“融合双路视觉信息的车载乘客眩晕检测”两项本土研发的移动出行技术，分别聚焦驾驶接管安全与乘车观看视频时的眩晕问题。同场展出的“语义慧行”(可透视车联网预警系统)进一步推进车载应用，现已可部署于通用车载计算平台。
索尼围绕驾驶安全与车内娱乐体验，展示本土研发的移动出行创新成果
让驾驶接管更有准备：基于视觉语言模型的驾驶接管危险预警
当道路环境接近或超出系统的适用范围时，清晰的接管提示有助于驾驶员理解当前情境、做好响应准备。该技术利用视觉语言模型(VLM)分析车辆前方的道路画面，判断路况是否接近或超出智能驾驶系统的设计运行范围(ODD)，为驾驶员提供分级提示。接管提示分为三个层级：接近边界时，提醒驾驶员准备接管;超出范围但尚不紧急时，引导驾驶员主动接管;遇到突发障碍或感知失效等高风险情况时，提示紧急接管。
基于视觉语言模型的驾驶接管危险预警(全球首发)
研发过程中，团队利用数字孪生仿真环境，生成日间、夜间、大雨及高速行驶等工况下的数据，用于模型训练与验证。目前，该技术已同清华汽车工程学院在苏州市相城区开展实际道路测试，可为车企及智能驾驶解决方案厂商的接管时机判断与人机交互设计提供支持。
让车内娱乐更舒适：融合双路视觉信息的车载乘客眩晕检测
从驾驶员到乘客，索尼对移动出行的探索也延伸至车内娱乐的实际感受。第八届进博会上，索尼展示了融合“灵感之窗”、车载音频与PS5游戏等资源的车载娱乐体验。针对观众对行驶中观看屏幕时眩晕问题的反馈，今年索尼中国研究院研发了车载乘客眩晕检测方案，并与北京交通大学合作，进一步关注车内娱乐的乘坐舒适性。
该方案同时分析两路视频：一路来自车前道路画面，用于反映车辆加减速、转弯和颠簸等状态;另一路来自后排屏幕正在播放的内容，用于识别整体运动、旋转、闪烁等可能引发眩晕的视觉因素。基于公开医学数据训练的AI模型综合两路信息，预测乘客可能出现的眩晕程度，也可结合个人敏感度进行评估。
融合双路视觉信息的车载乘客眩晕检测(全球首发)
评估结果可用于提示驾驶员减少急刹、急转，也可为内容平台推荐视觉变化较缓和的内容提供参考。该方案复用车辆原有的ADAS前视摄像头，无需新增后排摄像头，相关技术已申请专利。
参观者在模拟后排座舱中体验车载乘客眩晕检测方案
让盲区中的风险看得见：透视车联网预警系统推进车载应用
在路口或车辆密集的道路上，被建筑物、前车遮挡的行人和非机动车，往往难以被驾驶员直接观察，笼统的风险提示也难以解释危险来自哪里。索尼于第八届进博会全球首发的“语义慧行”(可透视车联网预警系统)，此次进一步推进车载应用。系统利用语义通信技术，将被遮挡的道路信息以直观画面呈现在车机屏幕上：路侧设备识别行人、非机动车，提取并传输关键语义信息，再由车端还原画面，帮助驾驶员理解风险来源、提前作出反应。
现场模拟驾驶舱展示了这一过程：当有人从前方绿植墙后走过时，车机屏幕会实时显示被遮挡的行人，让观众直观了解系统的预警方式。
模拟驾驶舱屏幕实时显示绿植墙后被遮挡的行人
首发以来，索尼研发团队通过模型轻量化减少计算开销、缩短处理时延，使系统可部署于通用车载计算平台。系统还可根据通信条件调整传输信息量，以适应不同网络环境。通过语义传输技术，对交通核心信息进行提取与传输，使其适配国内车联网标准的带宽约束;目前已与国内商用车在通讯单元TCU产品完成联合测试。
索尼中国研究院副院长孙晨表示：“从研发到测试，我们都希望贴近中国用户真实的出行场景。帮助驾驶员把握接管时机，让乘客在车上更舒适地观看内容，我们关注的都是人在移动空间中的实际感受。我们希望把索尼的技术与内容优势结合起来，在支持驾驶安全的同时，让车内娱乐体验更好。”
未来，索尼将继续秉持“用创意和科技的力量感动世界”的企业宗旨，携手中国车企、供应链企业与高校，推进本土研发成果的应用验证，共同探索兼顾驾驶安全与乘客体验的移动空间。 |
