タグ

MorphologyとDictionaryに関するkujooのブックマーク (30)

  • レーベンシュタイン距離を使って電話でのイライラを解決する - kenmazの日記

    電話で自分の苗字を伝えようとしても、電話相手に正しく伝わらないことがある。私が「松前です」と告げても、電話相手は「はい、増前さまですね」と間違って復唱しやがることがある。いずれ「夏前」とか「安前」とか「松苗」とか、いろいろ間違われるようになるかもしれない。このような不運な事故を回避するには、事前に間違えられやすい苗字を洗い出しておいて、ばっちり発音を練習しておく必要がある。 さて「松前」と似ている苗字を洗い出すにはどうすればよいだろうか。そんなとき使えそうなのが「レーベンシュタイン距離」である。 「レーベンシュタイン距離」とは、ある単語を、別の単語に書き換えるために必要な、文字の挿入/削除/置換操作の回数のことである。レーベンシュタイン距離を使えば、ある単語同士がどれくらい似ているか、ということが分かる。 レーベンシュタイン距離 http://ja.wikipedia.org/wiki/%

    レーベンシュタイン距離を使って電話でのイライラを解決する - kenmazの日記
  • 自動書記

    ■自動書記とは、英語では、automatic writingと記載します。 霊あるいは特定の高い霊体または意識が霊能者あるいは特定の資質を有した人間の手やキーボード等を用いて文字や文章を記載させる現象を「自動書記」と、よびます。 この自動書記を行う場合には、霊能者あるいは特定の資質を有した人間の瞑想状態あるいは、酩酊状態、いわゆるトランス状態、変性意識状態の際に、霊あるいは特定の高い霊体または意識が、かってに、その手を借りて、文字や文字列を綴っていく事です。 ■自動書記の方法 自動書記を行う方法は、さまざまです。ただ単なる鉛筆やペン等を用いる場合もありますし、ウィジャ盤等を用いる場合もあります。 また、私の場合ですとパソコンやワードプロセッサー等を用いて行っています。私は初期の段階では、ペンを用いていたのですけれども、現在最も行いやすいのは、パソコンのキーボードを用いる方法であるように、思

  • 自動書記 - Wikipedia

    レオノーラ・パイパーによる自動筆記 (1911) 自動書記(英: Automatic writing、仏: Écriture automatique)とは、あたかも何か別の存在に憑依されて肉体を支配されているかのように、自分の意識、意思によらず身体が動く自動作用のうち、文字や絵などを描く現象のこと[1]。自動書記、自動記述とも。スピリティズムではサイコグラフィー(フランス語版)、シュルレアリストの詩作の実験ではオートマティスムとも呼ばれている。 霊媒や霊能者、チャネラーなどと呼ばれる人々は「死者の霊が下りてきた」「神や霊に命令されている」「体を乗っ取られている」「高次元の存在や宇宙人とチャネリングを行う」などの理由により、無意識的にペンを動かしたり語り始めたりする。これは神霊などがこの世界に接触を図る方法として説明されている。日ではかつて「神がかり」「お筆先」とも呼ばれていた。 霊媒によ

    自動書記 - Wikipedia
  • 天使の自動筆記(ラブリーゴーストライター) - phaのwiki

    天使の自動筆記(ラブリーゴーストライター)とは 自動書記による4行詩という形式で予知を行う。 対象者に直筆で名前・生年月日・血液型を紙に書いてもらい、その紙に詩を書き込む。 悪い予言には必ず警告が示され、その警告を守れば予言を回避できる。 W×H --- 特質系 ↑ クロロ 大切な暦が一部欠けて 遺された月達は盛大に葬うだろう 喪服の楽団が奏る旋律で 霜月は高く穏やかに運ばれていく 菊が葉もろとも涸れ落ちて 血塗られた緋の目の地に臥す傍らで それでも貴方の優位は揺るがない 遺る手足が半分になろうとも 幕間劇に興じよう 新たに仲間を探すもいいだろう 向かうなら東がいい きっと待ち人に会えるから ↑

  • 正確な文章の書き方

    このページでは、正確な文章を書くための秘訣をまとめてみようと思います。それほど文章がうまいとはいえない私が、文章の書き方について述べるのですから、むこうみずな行為であることは百も承知です。しかし、数年に渡って探求した正確な文章の書き方が、少しでもみなさんの役に立てばという思いを自分への励ましに代えて筆をとります。 ここでお話するのは、「文章をいかに正確に書くか」や「自分の考えをどうやったら適切に表現できるか」であって、決して「どうやったら人を感動させる名文句が書けるのか」ではありません。 このページを読んだら「科学技術文献」を書くための技術が少しは身に付くのではないかと期待しています。しかし、 人はいさ 心も知らず ふるさとは 花ぞ昔の 香ににほひける (紀貫之) などのような心に残る文章が頭に浮かぶようになるわけではありません。 絵の書き方に例えて言うなら、ここで述べる内容は、色彩や調和

  • テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク

    指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。

    テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク
    kujoo
    kujoo 2009/06/04
    ・・・名詞を抽出? なわけない
  • http://www.ritsumei.ac.jp/~inabam/class/coginfo/3.html

    認知と情報(稲葉) 第3回 認知科学と人工知能 前回に引き続き、認知科学の基礎概念として、人間の思考・認知をシステム的に捉える「情報処理モデル」について学習する。講義では特に、人間の知的活動のモデル化に大きな影響を与えた人工知能研究の成果について概説する。 1.認知科学と人工知能 行動主義心理学は一般的に、人間の行動に関する実験を重視するのに対して、認知科学(認知心理学を含む)では、実験に加えて、一種の情報処理システムとしての人間のモデル作成と、そのシミュレーションという手法を重視する。 このため認知科学は、コンピュータサイエンスと密接に関係している。コンピュータシステムは、入力装置や記憶装置、推論や考察をつかさどる処理装置を備えていると同時に、ソフトウェアによって様々な情報処理モデルを定義・操作できるため、人間の認知に関するモデルを作成し、検証することに適している。 人工知

    kujoo
    kujoo 2009/06/01
    "第3回 認知科学と人工知能"
  • 特集 人工知能について考える

  • MeCabの辞書にはてなキーワードを追加しよう - 不可視点

    MeCabは形態素解析のためのソフトウェアです。日語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日語や、正しく書かれた日語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解

    MeCabの辞書にはてなキーワードを追加しよう - 不可視点
  • 辞書型試作人工無脳 AEM-060D

    まきなとしゃべってみる 苦情、バグレポート、コメントはこちら ねらい 人工無脳の開発は、日常の会話の中にパターンを見出すことから始まる。そのなかで、「分からないことを質問し、答えをもらって記憶する」というパターンは一番理解しやすくシンプルである。このような辞書型人工無脳は他の型の人工無脳とくらべて、あらかじめデータを与えておくことでキャラクタ性を出すことができ、設計者にとって自由度の高い文生成ができる点が特徴である。さらに構造が単純なため今までにたくさん実装された例があるが、キャラクタ性と文生成の柔軟さについてきちんと考察されたものは少ない。システムとしてこれらの特徴を備えた人工無脳であっても辞書の作りこみでは現場の辞書製作者の経験と勘や場当たり的な処理によって工夫されていることが多かった。そこで、人工無脳独特の機構を理解してもらうとともに辞書の作りこみに必要な考察のベースを提供するために

  • 学習ブロック入門編

    next:計画ブロック入門編 >> Next Session:人工無脳の条件 人工無脳はチャットの内容を記憶し、それを再構成することで会話を行なうふりをする。近年では自分が属しているチャットだけでなく、ニュースサイトのテキストなども収集して学習する人工無脳も多い11こうさぎ、酢鶏など。チャットやRSSから得られた文字列を必要な形式で記憶することが学習ブロックの目的である。人工無脳の学習アルゴリズムは文の再構成アルゴリズムと一体になっている場合が多いのだが、あえて切り離して議論することで組み合わせの自由などを考えることができるようになる。そこで、ここでは学習、すなわち入力文字列を記憶に変換するアルゴリズムについてのみ考えよう。 マルコフ連鎖 以前から注目されているアルゴリズムに、C. Shannonによって1948年に発案されたマルコフ連鎖によるテキスト生成(Markov text gene

  • Google

    世界中のあらゆる情報を検索するためのツールを提供しています。さまざまな検索機能を活用して、お探しの情報を見つけてください。

  • 人工無能を作ろう〜マルコフ連鎖(perl)

    perlでChaSenを使って形態素解析&「1語の接頭語+1語の接尾語」のマルコフ連鎖をする際のサンプルです。 プログラムの文字コードはEUC-JPで、CGIとして実行できブラウザから実行結果を確認できるように書いてます。 perlからChaSenを使う場合、Text::ChaSenなど便利なモジュールもあります。 しかし、利用する形態素解析ツールが変わった場合にも簡単に対応出来るようにする為、Text::ChaSenを使わない方法で書きます。 下記ソースは汚染チェック・エラーチェック等を行ってませんので、ご利用の際にはご注意下さい。 #!/usr/bin/perl -w # ChaSenのパス $chasen = '/usr/local/bin/chasen'; # 形態素解析を行う文章 $str = "当の優しさとはどんなことなのだろうか。相手がして欲しい事に気づいてあげら

  • マルコフ連鎖

    第4章  マルコフ連鎖 4.1 確率行列 4.1.1 確率行列 4.1.2 同時確率 4.1.3 同時確率行列 4.1.3.1 例1 4.1.3.2 例2 4.1.4 条件付確率行列 4.1.5 確率行列の式 4.1.6 行列演算 4.1.6.1 例 4.2 マルコフ連鎖 4.2.1 マルコフ連鎖の定義 4.2.2 マルコフ連鎖における同時確率 4.2.2.1 例1 4.2.2.2 例2 4.3 定常性 4.3.1 定常性 4.3.2 非定常的ランダムウォーク 例1 4.3.3 非定常的ランダムウォーク 例2 4.3.3.1 余談(エントロピー増大) 4.3.3.2 余談(ブラウン運動) 4.4 状態遷移図とエルコード性 4.4.1 状態遷移図 4.4.2 エルコード性 4.4.2.1 例 〇 章末テスト

  • マルコフ連鎖 - Wikipedia

    この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。(このテンプレートの使い方) 出典検索?: "マルコフ連鎖" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2018年1月) マルコフ連鎖(マルコフれんさ、(英: Markov chain)は状態空間が高々可算集合なマルコフ過程である[1]。すなわち、取りうる状態が離散的かつ未来の状態が過去の状態履歴に影響されない確率過程である。マルコフ鎖(マルコフさ)とも。 マルコフ連鎖とは、確率過程の一種であるマルコフ過程のうち、とりうる状態が離散的(有限または可算)なものをいう(⇒ #定義)。すなわち離散状態マルコフ過程を指す。 マルコフ連鎖は、未来の挙動が現在の値だけで決定され、過去の挙

  • さくらの500円レンタルサーバで MeCab を使う

    さくらの500円レンタルサーバで MeCab を使う 2008-11-15-1 [Tips][Programming][NLP] さくらの500円レンタルサーバで MeCab を使うための手順。 「MeCabをPerlから使う」[2006-02-25-4]を参考に。 MeCab は日形態素解析器です。 日語文を単語に切り分けてくれます。 - MeCab: Yet Another Part-of-Speech and Morphological Analyzer http://mecab.sourceforge.net/ ソースの入手は上記 URL から。 MeCab 体のインストール まずは体を入れなければ話になりません。 tar zxfv mecab-0.97.tar.gz cd mecab-0.97 ./configure --prefix=/home/USERNAME/op

    さくらの500円レンタルサーバで MeCab を使う
  • Yahoo! API の「校正支援」と「かな漢字変換」のサンプルプログラムを作ったよ

    Yahoo! API の「校正支援」と「かな漢字変換」のサンプルプログラムを作ったよ 2008-07-11-1 [Programming][NLP] Yahoo!デベロッパーネットワークの「テキスト解析」のシリーズで、 最近、校正支援APIと仮名漢字変換APIが出ました。 それを使った簡単なサンプルプログラムを作ってみました。 明日のプレゼン[2008-07-07-1]で使うかも使わないかも。 ■校正支援Webサービス http://developer.yahoo.co.jp/jlp/KouseiService/V1/kousei.html語文の校正作業を支援します。文字の入力ミスや言葉の誤用がないか、 わかりにくい表記や不適切な表現が使われていないかなどをチェックします。 入力テキストの校正箇所を黄色くハイライトし、 そこにマウスカーソルののせると解説がポップアップされるというデモ

    Yahoo! API の「校正支援」と「かな漢字変換」のサンプルプログラムを作ったよ
  • ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」

    ヤフーの日語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに?」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素(≒単語)単位に分割します。 YDN の「日形態素解析Webサービス」[2007-06-18-1] で試すことができ

    ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
  • Yahoo!日本語形態素解析APIをコマンドラインから使うサンプルプログラム

    Yahoo!形態素解析APIをコマンドラインから使うサンプルプログラム 2008-04-05-5 [Programming][NLP] とある経緯で、Yahoo!形態素解析API[2007-06-18-1]を使った Perl のサンプルプログラムを作りました。 車輪の再発明的ですが(だれか作ってた気がする)気にしない! - Yahoo!デベロッパーネットワーク - テキスト解析 - 日形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html 以下コードです: #!/usr/bin/perl use strict; use warnings; use Encode; use URI::Escape; use LWP::Simple; use XML::Simple; use Getopt::Long; use

    Yahoo!日本語形態素解析APIをコマンドラインから使うサンプルプログラム
  • 日本語係り受け解析APIとマッシュアップ

    ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サービス統括部のS・Kと申します。 前回お送りしました「日形態素解析APIとマッシュアップ」に続きまして、Yahoo! JAPANが提供するWeb APIの中でも難解であろう「日語係り受け解析API」を前回と同様、皆様のマッシュアップにお役立ていただけるようなじみの薄い自然言語処理用語の解説と共に分かりやすくお伝えできればと思います。 まずは、前回のおさらいです。 形態素解析は日語の文を言語として意味を成す最小単位の「形態素」に分ける解析処理でした。そして、日形態素解析APIは「形態素」に分け、合わせて「品詞」情報が取得できましたね。 係り受け解析は、その形態素解析処理を元にさらに一歩踏み込んだ情報の解析をします。 そ

    日本語係り受け解析APIとマッシュアップ