LLM

1. 目的と背景 Few-shot Chain-of-Thought (CoT) 提示は、大規模言語モデル（LLM）の推論能力を向上させる強力な手法として知られています。これまでは、逐次的に分離された推論（Stepwise ICL）が主に使われていましたが、一貫した推論（Coherent CoT）によるモデルの改善が提案されています。 2. 提案する理論と手法 Coherent CoTは、以前の推論結果を統合し次のステップに反映させることで、エラーの訂正能力を向上させるとされています。 逐次的推論（Stepwise ICL）: 各ステップが前のステップの結果のみを基に予測を行う。 一貫した推論…

こんにちは。人工知能研究所の伊海です。 富士通では企業における生成AIの活用促進に向けて、多様かつ変化する企業ニーズに柔軟に対応し、企業が持つ膨大なデータや法令への準拠を容易に実現する「エンタープライズ生成AIフレームワーク」を開発し、2024年7月よりAIサービス「Fujitsu Kozuchi」のラインナップとして順次提供を開始いたしました。 本記事では、このフレームワークを構成する「Fujitsu ナレッジグラフ拡張RAG for VA (Vision Analytics)」についてご紹介いたします。( *1 ) *1:RAG技術：Retrieval Augmented Generati…

テストからPoCへ RAG Agentの概要 PlaygroundからExportする Vector Indexにクエリ実行するFunctionが動かない・・・ agent Notebookの変更箇所 追加パッケージのインストール configの記述と出力 LLMとToolの定義 driverの変更箇所 追加パッケージのインストール Agentのロギングの見直し Evaluate Dataの変更 Agent(モデル)を登録する先の指定 Review Appを使う APIで利用する Agentのモニタリングダッシュボードを起動する ダッシュボード起動Notebookの取得 Notebookの変更…

aya-expanse 8Bと32Bをollamaでためします。評判もよいので期待しつつ。 このモデルはわりと饒舌なモデルで比較的長めの文章を生成していました。ただ、まとめに関しては、極端に短くなるものもあり、指示次第なのかもしれません。8Bでも自然な文章を生成します。8Bと32Bの違いは知識（の保持）量の違いがよくわかる結果になりました。ただ、計算は32Bでも苦手です。ライセンスはCC-BY-NC 4.0。 ollama.com Colab T4とL4環境のそれぞれで8Bと32Bモデルを試します。 8B T4環境 VRAM占有(6565MiB)32B L4環境 VRAM占有(20099MiB…

ローカルLLMの性能が上がってくると、今まで課金が怖くてできなかったこともやっちゃえと思い切ってできるようになってきました。そこで、ある分野の論文の概要をArXivを利用して入手し、RAG用データセットへの加工もトライしてみました。 bwgift.hatenadiary.jp 今回は、同じ要領でRAG用データとして整形します。 すっかりRAGは便利な道具になりました。ハルシネーションに気を付けてソースを確かめることに留意すれば、情報整理やたたき台の作成に利用できます。執筆や情報入手のため、論文などのＰＤＦファイルを活用しての解析や引用が楽になりました。執筆の道具として大変便利です。一方で、大量…

はじめに ふふっ。Python界の田中琴葉、nikkieです。 LLMへの攻撃の1つ、プロンプトインジェクションについて、サーベイ論文から代表的な論文をいくつか知りました。 論文を読んでいる中での中間アウトプットです。 目次 はじめに 目次 Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models Prompt Injection Objective Manipulation Prompt Leaking Malicious Content Generation Training D…

aya-expanse-8bを4bit量子化してColabT4環境で試しました。CC-BY-NC 4.0 Licenseです。量子化しても日本語も大きな問題はありませんでしたが、日本の知識は限度がありそうです。計算もそつなくこなし、さすがCohere社のモデルです。進歩するOSSモデルの中で、基本的な速度やコンテキスト長、得意なタスクで、他のモデルに埋もれてしないように、今後も進歩していくといいですね。 huggingface.co まどか☆マギカで一番かわいいのは？ 「まどか☆マギカ」は、2011年に放送された人気のアニメ作品です。キャラクターの好みは人それぞれなので、"一番かわいい"という…

サイバーパンクは心の故郷。 カウント・ゼロ (ハヤカワ文庫SF) 作者:ウィリアム ギブスン 早川書房 Amazon サイバーパンクは国家という概念を希釈した。ハイテクノロジーを所有する多国籍企業が多層構造を織りなす世界の頂点に君臨し、そこからインターネットを介してヒゲ根を生やすように世界がリンクする。国家などという概念を真面目に受け取っている未開の地は時代遅れの産物としてビズの餌食となり、数えきれないほどの人間が苦しむことになる。 このようにして引き起こされたテクノロジーによるパラダイム・シフトは、真の教義の飛躍という意味において神学への投機を促すことになる。それは現代において、グーグルエン…

10/27 やや寝不足ながらも、準備を済ませて軽井沢へ出発。前日の新大阪では「人が多すぎて全然持ち時間が足りない」という失敗をしたが、今日の熊谷では「人が少なすぎて持ち時間が余りまくる」という失敗をした。都市部のスケジュール管理、難しすぎる。 軽井沢。別荘地というより観光地とスキー場の間という印象を受ける 軽井沢では予定していた現代芸術中心の美術館1軒にお邪魔した。気に入った画家を調べてみたら軽井沢近辺で活動する方々だった。行き始めてとみに思うようになったが、在郷の芸術家について知るには、当地の美術館の常設展にこまめに通うしかない。まだまだ行くべきところはたくさんある。近代芸術だと並木功という…

www.scrumfestsapporo.org 昨日に引き続き、スクラムフェスニセコ2024に参加しているので、会の様子を書いていこうと思います。 スポンサーセッション 根本さんとお話する 神崎さんのkeynoteを聞く 要件定義で起きていること 要件定義の問題 RDRAで解決すること RDRAの概要 要求抽出 RDRAの表現 RDRA分析 RDRAとスクラム 要件定義の進め方 LLMとRDRA ランチ OST クロージング スポンサーセッション Day2はスポンサーセッションからスタートしました。 シンプルな会社紹介というセッションももちろんありましたが、会場にいる参加者の方とコミュニケー…

今日もあんま言いたいことない BigQuery Scriptingの便利な使い方をまとめてみた - yasuhisa's blog Execute Immediate は使ったことあるけど、これってBigQuery Scripting って言うんだ BigQuery + Looker Studioでt検定した話 - Timee Product Team Blog わざわざ BI のほうで t 検定したいことないなあと思いながら読んでたけど、実際同じようなオチになっていた LLMアプリケーションからAgenticアプリケーションの時代へ〜「LangChainとLangGraphによるRAG・AI…

フィッシング詐欺本ブログでは、毎日大量に配信されているフィッシング詐欺メールを観測し、その正体をお知らせしています。 最近では、メールの件名、本文、送信元や偽のサーバーを、短期間で次々と入れ替えたフィッシング詐欺メールが、AIを駆使して生成される傾向にあります。そのため、特定の件名やメール本文、偽のサーバー画面での注意喚起では追いつかなくなっています。そこで、ここ数日に観測したフィッシング詐欺メールの件名を一覧で示すことにします。これらのメールは開かないようにし、間違って開いても接続先URLのリンクをクリックしないようにしてください。※一覧中で英数字としているのは、番号：AB-12345678…

みなさんは今週、どんな記事をブックマークしましたか？私のものをご参考まで。 日本ではKubernetesやCI/CDなどが幻滅期に、インダストリクラウドやインフラ自動化は過度な期待。「日本におけるクラウド・プラットフォームのハイプ・サイクル」2024年版発表 IT系ビジネスには様々なテクノロジーが登場するが、普及期や黎明期などのフェーズが分かりにくい。ガートナーのレポートはそこに焦点を当てている。これによるとLLMはまだまだ黎明期。 『図説 お金と人生』 読み始めました。個人投資家で経済学を学んだことのない人でも、資産運用の効率が上がるなら世界のお金の流れ、経済を知りたくなるだろう。この書籍は…

こちらです！ techbookfest.org どこで買える？ 技術書典17というイベントで買えます。技術書典はオンラインマーケットとオフライン販売を両方開催するので、ネットでも現地でも紙の本が買えます。紙本を買うと、電子版も付いてきます。 技術書典17 オンライン 販売期間： 2024年11月2日(土) 〜 11月17日(日)技術書典オンラインマーケット 令和の新卒エンジニア：Lettuce Yogurt 技術書典17 オフライン会場販売期間：2023年11月3日(日) 11:00 ～ 17:00場所：池袋サンシャインシティ 展示ホールD（文化会館ビル2F）持ち物：「入場券（無料）」と「かん…

はじめに 入寮した魔瞳の大鷲、やべーやつしかいねーぞ！！ nikkieです1。 OpenAIのModeration APIなるものを素振りしました。 目次 はじめに 目次 OpenAIのドキュメントより「Safety best practices」 Moderation API 終わりに OpenAIのドキュメントより「Safety best practices」 platform.openai.com OpenAIのWeb APIを介してGPTなどを使うアプリケーションを組む際、アプリケーションの安全性（Safety）を確保するためのベストプラクティスをまとめたページという理解です。 このペ…

ジェミニAIを使い回答をしてもらいました。 テクノロジー犯罪 事件メモ AI解答編 脳通信技術の悪用と健康への影響について脳通信技術は、人間の脳とコンピューターを直接接続し、情報をやり取りする技術です。この技術は、医療分野での革新的な治療や、人間と機械の共生社会の実現など、多くの可能性を秘めています。しかし、一方で、この技術の悪用や、健康への影響についても懸念されています。脳通信技術の悪用の可能性* プライバシー侵害: 脳内の思考や感情を読み取られ、個人情報が漏洩する可能性があります。* 操縦: 脳に直接働きかけることで、他人の行動を操ったり、思想を植え付けたりすることが可能になるかもしれませ…

食後、猛烈な土砂降りだったので、少し時間をずらして戻ってきたが、それでも傘の骨が曲がってしまったorz。一時間後の今はすっかり収まっている。もう 1 時間待つべきだったかもしれない。 夕食を買いに出かけた時は、雨もやんで、暖かかった。 LLM は漢字の部品検索が苦手かも 「塤」という文字について知りたかったので、"「損」という漢字の左側を「土」に変えた文字は何ですか?" と ChatGPT に訊いたら「埋」だというので、"右側は「里」ではなくて「員」です"と指摘したら今度は「墳」に。"まだ違います。「土員」を一文字にしたものです"と言っても、「執」。全然ダメ。諦めて "「塤」はどういう意味です…

ChatGPTとは 対話型AI、世界で毎週2億5000万人が使用 きょうのことば#きょうのことば2024/11/2 2:00▼ChatGPT 米新興企業のオープンAIが2022年11月に公開した対話型の人工知能（AI）。次に来る単語を予測して文章をつくる「大規模言語モデル（LLM）」と呼ぶ技術が基盤だ。ネット上の大量のデータを学習したLLMをもとに、利用者の質問に対し人間のように巧みに受け答えができる。英語だけでなく日本語など複数言語に対応するのも特長だ。