与山口大学 AISMEC 的合作

山口大学于2018年在医学研究科和附属医院内设立了AI系统医学研究教育中心（AISMEC / AI Systems Medicine Research and Training Center），推进AI和系统生物学的研究。Intasect与山口大学合作，开发使用AI和VR/MR等先进技术的系统和服务。

将医疗人工智能引入临床实践

特别是在人工智能相关领域，我们正在开发一个医疗信息和人工智能链接系统，以便将医疗人工智能引入临床实践。这将为医疗人工智能与医疗信息系统（包括电子病历系统和临床决策支持系统（CDSS / Clinical Decision Support System））的连接提供一个框架。

例如，在 “不良反应致病药物预测 “的核查中，建立了一个系统，根据 “疑似不良反应 “患者过去六个月的处方和注射情况，预测不良反应的致病药物，并在医疗信息系统中进行通知。

今后，我们还计划将山口大学医学系研究科及医学部附属医院开发的其他类型医用AI整合到现有的系统中，并根据在此过程中获得的知识，完善新型医用AI的系统整合步骤，并致力于进一步推广这一过程中使用的通用框架，以实现更广泛的应用。

视频中的手部识别应用

该软件的开发目的是利用 Media Pipe Hands，通过机器学习模型检测手部动作视频中的手部和手指关节，根据手部动作的异常，估计手臂神经失调导致的疾病类型。该软件的开发目的是将三维空间中每个手部关节的估计坐标作为时间序列进行记录或回放。

记录手关节坐标

支持设置视频帧的跳过数量以及进行多个视频的批量处理。

读取与显示坐标数据

能够读取手指关节的时间序列数据，并将基于这些数据生成的手部骨架模型叠加在视频中显示。此功能对于在数据处理后进行直观检查以及制作演示资料非常实用，例如进行坐标数据的去噪处理等。

VR（虚拟现实）/MR（混合现实）的应用

开发了一种利用VR/MR技术供医生在术前讨论手术方法的系统，允许多个医生共享3D人体和器官模型。使用Meta Quest 2或HoloLens 2，可以在虚拟空间中显示和操作3D模型。同时，即便没有这些设备，其他参与者也可以通过PC显示器或iPad观察。

创建会议

可并行创建多个会话。参与者通过指定会话登录，并根据会话共享 3D 模型。

操作 3D 模型

会话参与者可以选择要在会话中共享的三维模型，并对所选三维模型执行平衡移动、旋转和缩放等操作。他们还可以指向三维模型上的特定位置，或在特定位置放置标记，以便在与会者之间共享更详细的位置。

适配设备的显示与控制

使用Meta Quest 2的参与者可以通过控制器操作3D模型，而使用HoloLens 2的参与者则可通过手部识别进行控制。没有VR设备的参与者也可以通过PC或平板显示器共享会话情况。

视角切换

参与者可在“独立视角模式”与“视角共享模式”之间切换，以满足个性化视角或全体共享视角的需求。

新型AI OCR

根据客户对于手写文字识别的需求，我们开发了一款新型AI OCR系统，该系统基于2021年发布的论文《TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models》。通过采用该论文中的先进技术实现，我们能够在系统中整合客户提供的专属学习数据，从而进一步提升模型性能。

新型AI OCR 的功能

1. TrOCR技术的应用

我们的AI OCR系统引入了基于2021年发表的TrOCR技术。该技术基于Transformer架构的模型，在自然语言处理方面展现了卓越的性能，同时在手写文字识别中也能提供极高的准确性。

2. 利用独有的学习数据

通过结合客户提供的手写训练数据，模型针对特定行业和应用进行了优化，从而实现高效的泛化性能。这使得为客户需求量身定制的个性化AI OCR成为可能。

3. 灵活定制

AI OCR 具有灵活性和可扩展性，可以根据客户的需求定制模型和功能。此外，与一般基于云服务的AI OCR不同，我们还支持本地部署使用。这使得我们能够为各行各业和不同业务环境提供量身定制的OCR解决方案。

当前基础模型是通过以下数据，使用多种字体，基于总计250万条学习数据进行构建的：

• 日本姓氏 + 名字 54 000 件
• 欧美姓氏 + 名字 30,000件
• 中文文章23万条
• 常用汉字（中文）：约6,000字
• 文化厅发布的日本语常用汉字：约2,600字
• 2023年1月1日版本的日语维基百科：135万页