タグ

LLMに関するtfurukawのブックマーク (3)

  • 自然言語処理を10年ぐらいやってきた

    学業でも仕事でも趣味でも、ずっと自然言語処理をやってきた。 別に最初からAIだのNLPだのに興味があったわけじゃない。 きっかけは、学生時代にちょっとしたレポートでテキストの単語出現頻度を数えようとしたとき、「あれ、そもそも日語ってどうやって単語に分けんの?」って疑問が出たところからだ。 英語ならスペースで切れるけど、日語はそうはいかない。で、いろいろ調べて「形態素解析」って言葉にたどり着いた。 その瞬間にちょっとハマったんだよね。 辞書をもとに文を機械的に切り刻んで、品詞をラベル付けして、統計を取って、構文を推定する。まるで人間の頭の中を数理的に覗いているようで。 そこからMeCabとかJumanとかKyTeaとか、いろんなツールを触った。 Pythonでテキスト処理のパイプラインを組んだり、mecab-ipadic-NEologdを突っ込んで新語に対応させたり。 「言葉を数理で扱え

    自然言語処理を10年ぐらいやってきた
    tfurukaw
    tfurukaw 2025/10/14
    「それまでチマチマ特徴量を設計して、分類器を学習して、F値を0.02上げるために夜中までパラメータをいじってたのが、全部一瞬で過去になった。」良かったね。私はこの辺かじった位で離脱して戻れなくなった。悲し
  • どの議員がどの法案に賛成したのか分かるサイトをつくりました

    宣伝で申し訳有りません。 素人なりに頑張って作りましたので、需要があるのか分からないけど、使ってみてもらえると嬉しいです。 https://midorisawa.com/giin-search 過去6年間の参議院で審議された議案について、誰がどのような投票をしたのか見ることができます。 また、選挙区や会派から議員を選択し、その議員が過去にどのような法案に賛成してきたのか見ることができます。 ↓Zennです。 https://zenn.dev/midorisawa07/articles/7b6b24a46925fd 【追記】 みなさん、使ってくださりありがとうございます! 褒めてくれたり、次の選挙までの維持の要望を頂いたり、とても嬉しいです!!Happy... コレを機にXを始めました。フォロワー3人です。まだまだ面白いことをやりたいと思っています。もし良ければフォローお願いします! htt

    どの議員がどの法案に賛成したのか分かるサイトをつくりました
    tfurukaw
    tfurukaw 2025/07/19
    すばらしいです!!!
  • DeepSeek-R1の論文読んだ?【勉強になるよ】

    記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験(強化学習)をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 論文の興味深いところ 論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM(DeepSeek-V3-Base)に対

    DeepSeek-R1の論文読んだ?【勉強になるよ】
    tfurukaw
    tfurukaw 2025/01/27
    これはすごい。でももうノーミソ追いつかない・・・😢
  • 1