山口大学AISMECとの取り組み

山口大学では、医学系研究科・医学部附属病院にAIとシステムバイオロジーを両輪として推進するAIシステム医学･医療研究教育センター（AISMEC / AI Systems Medicine Research and Training Center）を2018年に設立しています。インタセクトは、山口大学との共同研究として、AIやVR/MRなど各種先進技術を使ったシステムおよびサービスの構築を行っています。

臨床現場への医用AI導入に向けて

特にAI関連では、臨床現場への医用AI導入のための医療情報・AI連携システムの開発を行っています。これは電子カルテシステムや臨床意思決定支援システム（CDSS / Clinical Decision Support System）をはじめとする医療情報システムに医用AIを連携させるためのフレームワークとなるものです。

例えば「副作用原因薬推定」を題材とした検証では、「疑いのある有害反応」が存在する患者を対象に、過去6ヵ月の処方・注射から、有害反応の原因薬を予測し、医療情報システム上で通知する仕組みを構築しました。

今後は、山口大学医学系研究科・医学部附属病院で開発されて いる他の種類の医用AIについても連携システムへの組み込みを進め、その過程で得られた知見をもとに、新規医用AIの連携システムへの組み込み手順や、その際に使用する共通フレームワークのさらなる汎用化を目指しています。

動画中の手認識の活用

手の動きの異常に基づく腕を走行する神経のなんらかの障害に起因する疾患の種別推定などに応用することを目的として、手の動きを撮影した動画中の手指の関節を機械学習モデルに基づいて検出するMedia Pipe Handsを利用し、各手指関節の3次元空間内の推定された座標を時系列として記録、あるいは再生するソフトウェアを開発しています。

手指関節座標の記録

動画フレームのスキップ数の設定や、複数動画の一括処理などができます。

座標データの読み込みと表示

手指座標の時系列データを読み込み、それに基づく手のスティックモデルを手の動画に重畳させて表示することができます。座標データのノイズ削除などの処理後のデータの直感的な確認やプレゼン資料の作成などに便利です。

VR（仮想現実）/MR（複合現実）の活用

医師が手術前の術式検討などを行うことを目的として、VR/MR技術を用いて複数の医師が3Dモデルの人体や臓器を共有する仕組みを開発しています。Meta Quest 2やHoloLens 2を使用して3Dモデルを仮想空間上に表示/操作すると同時に、デバイスを持っていない人もPCモニターやiPadで観察することが可能です。

セッションの作成

複数のセッションを並行して作成することが出来ます。参加者はセッションを指定してログインし、セッションに応じた3Dモデルを共有します。

3Dモデルの操作

セッションへの参加者は、セッションで共有する3Dモデルを選択し、選択した3Dモデルに対して平衡移動、回転、拡大縮小などの操作を行うことができます。また、3Dモデルの特定位置を指し示したり、特定位置にマーカーを置いたりすることで、より詳細な位置を参加者間で共有することができます。

デバイスに応じた表示と制御

セッションへの参加者がMeta Quest 2を使用する場合、Meta Quest 2のコントローラに応じた3Dモデルの操作が可能ですし、参加者がHoloLens 2を使用する場合は、手認識により3Dモデルの操作が可能です。参加者がVRデバイスを有していない場合でも、PCのモニタやタブレットにセッションの様子を表示するなどして、セッションの状況を共有することができます。

視点の切り替え

セッションへの参加者は、各参加者が独自の視点を持つ「個別視点モード」と、特定の参加者の視点を参加者全員が共有する「視点共有モード」を切り替えて使うことができます。

新しいAI OCR

お客様からの、手書き文字認識を目的としたAI OCRに関する問い合わせから発展させて、2021年に発表された論文「TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models」を採用した新しいAI OCRを構築しました。この論文に基づく先進的な実装を活用し、お客様独自の学習データを組み込むことで、モデルの性能を更に強化します。

新しいAI OCRの特長

1. TrOCR技術の採用

当社のAI OCRは、2021年に発表された最新の論文に基づくTrOCR技術を導入しています。Transformerベースのモデルは、自然言語処理において優れた性能を発揮しており、手書き文字認識においても高い精度を提供します。

2. 独自の学習データの活用

お客様から提供いただく手書き文字の学習データを組み込むことで、モデルは特定の業界や用途に最適化され、高い汎化性能を実現します。これにより、お客様のニーズに合ったパーソナライズされたAI OCRの実現が可能です。

3. 柔軟なカスタマイズ性

当社のAI OCRは柔軟で拡張可能な設計となっており、お客様の要件に応じてモデルや機能をカスタマイズできます。また、一般的なAI OCRがクラウドサービスであるのに対して、オンプレミスでの利用も可能となっています。これにより、様々な業界やビジネス環境に対応したオーダーメイドのOCRソリューションのご提供を実現します。

現在のベースとなっているモデルは、以下のデータに対して複数のフォントを使って、トータル250万件の学習データを用いて作成しています。

• 日本人 姓+名 5万4千件
• 欧米人 姓+名 3万件
• 中国語文章 23万件
• 中国語常用漢字 約6000文字
• 文化庁が発表した日本語常用漢字 約2600文字
• 2023年01月01日バージョンの日本語Wikipediaの135万ページ