2024-08-12
こんにちは、RobbitsのAIエンジニア👩‍💻です！今回は、NVIDIAの新アプリ「Chat with RTX」を試してみた感想をお伝えします📝

まず、このアプリはWindowsベースのPCで、PDFやWordの文書を元に大規模言語モデルでチャットが可能なんです🗨️💬前回のブログでも触れたように、ローカルで動作し、RTX環境に最適化された大規模言語モデルを使用して文書QAを実現します📚✨

でも、実際に使ってみると…😅ベースとなるAIがMistral 7B 4bit量子化とLama2 13B 4bit量子化の小型版なので、まともに会話できるレベルではなかったんです💦RAG機能にも期待したのですが、ほぼ機能しない状態…😔

正直、リリースできるレベルのものではないと感じました😣💔

もちろん、このアプリが開発されたこと自体は素晴らしいと思います👏💡でも、現状ではまだまだ改善の余地があると感じました🔄

これからのアップデートに期待しつつ、引き続き最新のAI技術を追いかけていきます🏃‍♀️💨

#ChatWithRTX #AI #NVIDIA