フォルダ内のテキストファイルの中身を全て合わせる君
言葉の通り、フォルダ内のテキストファイルを全て、一つのテキストファイルに突っ込むというだけです。
import glob
f = open("ketsu.txt","w") #これに全てを突っ込みたい。
files = glob.glob('/home/araki/デスクトップ/corpus/training/*of-00100') #tof-00100で終わる1billlionファイルすべてを取得
for file_count in files:
print file_count
for i in open(file_count,"r"):
f.write(i)
wordnetのやつをコマンドラインからいろいろ出来るように〜
所要で簡単に類似度とか見たかったので、
-sでsynsetの表示、-dで定義表示、-eで上位語表示、-oで下位語表示、-tで深度、-lで類似度を表示できるようにしただけです。
参考にしたサイト様
自然言語処理 :: 自然言語処理ツールNLTK、WordNetを利用して単語間類似度を算出するには
# coding: utf-8
#import jp_wordnet as JPWN
from nltk.corpus.reader.wordnet import WordNetCorpusReader
import nltk
from nltk.corpus import wordnet as wn
import os
import sys
from optparse import OptionParser
parser = OptionParser()
#https://pythonprogramming.net/wordnet-nltk-tutorial/
#http://www.welearn.jp/nlp/wordnet_similarity_among_words.html
#↓wup_simiの説明
#http://www.anlp.jp/proceedings/annual_meeting/2012/pdf_dir/P1-8.pdfprint(wn.synsets("newspaper"))
#wordnetの関数 http://www.nltk.org/howto/wordnet.html
parser.add_option(
"-s", "--syn",
action="store_true", # Trueを保存
# store_falseならFalseを保存
default=False,
help="synsetの表示"
)
parser.add_option(
"-d", "--definition",
action="store_true", # Trueを保存
# store_falseならFalseを保存
default=False,
help="定義の表示"
)
parser.add_option(
"-e", "--hypernym",
action="store_true", # Trueを保存
# store_falseならFalseを保存
default=False,
help="上位語"
)
parser.add_option(
"-o", "--hyponym",
action="store_true", # Trueを保存
# store_falseならFalseを保存
default=False,
help="下位語"
)
parser.add_option(
"-t", "--depth",
action="store_true", # Trueを保存
# store_falseならFalseを保存
default=False,
help="深度"
)
parser.add_option(
"-l", "--similarity",
action="store_true", # Trueを保存
# store_falseならFalseを保存
default=False,
help="類似度"
)
(options, args) = parser.parse_args()
if options.syn == True:
input_char = input("文字列をください。")
for syn in wn.synsets(input_char):
print(syn)
if options.definition == True:
input_char = input("文字列をください。")
for syn in wn.synsets(input_char):
print(syn.definition())
if options.hypernym == True:
input_char = input("文字列をください。")
for syn in wn.synsets(input_char):
print(syn.hypernyms())
if options.hyponym == True:
input_char = input("文字列をください。")
for syn in wn.synsets(input_char):
#下位語
print(syn.hyponyms())
if options.depth == True:
input_char = input("文字列をください。")
for syn in wn.synsets(input_char):
#深度
print(syn.min_depth())
if options.similarity == True:
input_char = input("文字列をください。")
input_char2 = input("もうひとつ文字列をください。")
for syn in wn.synsets(input_char):
print("----")
print (syn)
for syn2 in wn.synsets(input_char2):
print("--------")
print(syn2)
print(syn.path_similarity(syn2))
#同じものだと1になる
#apple1 = wn.synset('apple.n.01')
#apple2 = wn.synset('apple.n.01')
#print(apple1.path_similarity(apple2))
#print(syn.wup_similarity(syn2))
smurakamiさんの日本語版wordnetのサンプルプログラムを動かした。
とりあえず今日やったことです。
ちゃんと書いておかないと何やったのかも忘れてしまうことに気づいたので・・・(ボケ老人)
wordnet使ってみるか・・・とりあえず他人のコード読んでみるか・・・ということで。ぱっと目に止まった。
GitHub - smurakami/jp_wordnet: 日本語版wordnetをpythonで使うサンプルです。
とりあえずこのサンプルを動かしてみることに。
続きを読む四角の中に一つだけ四角があるものを選ぼうの回
ちょっと前に作ったfindcontourを改造してみました。
やりたかったこととしましては、↓の図のピンクのやつだは取らず、他の四角はとるってやつです。
四角の中に一つだけ四角があるものを取ったのです。
続きを読む
tesseract3.04.01に出来た。
最初にleptonicaでエラーが出て、leptonicaをアップグレードしたりしたはず。(うろ覚え)
そのあと、autogen.shを実行しようとしたら、
Something went wrong, bailing out!
ってエラーが出て困っていた。
↓参考に
TesseractGitInstallation · tesseract-ocr/tesseract Wiki · GitHub
sudo apt-get install autoconf automake libtool libleptonica-dev
これのあと、いつもの、./configureとかmakeやのなんやのでインストール出来た。
これが解決法だったのかは分からない。
tesseract 3.03でかなり読める - アルパカ研究室
↑いつか比較するために書いたブログが役に立つ??
3.03の時に出来なかった文字に使ってみると
出てくる文字は変わって、少し近くなった気はするけど・・・
ですが、
なぜか読めなかった
は読み取ることが出来ました。
これが読み取れなかった件ですが、
エラーの内容も出るようになっている。
小さすぎたってことなんですか・・・
適当にスクショしたせいで・・・
しゅごいいいいいい
findcontoursの輪郭認識の動きを見えるようにしたらキモかった
opencvのfindcontoursの動きを一個一個見てみたかっただけです。
輪郭検出と輪郭内面積・重心計算 | OpenCV画像解析入門
↑参考にしたやつ
輪郭が格納されている?countoursの中身がこんな感じだったので、 順番に青い線で結んでいってみました。
円とかを表現しようとしたら頂点が多いので、たくさん端点が出来るってことなのかな?
ちゃんと輪郭をなぞっていっているのがわかります。
なんか、虫が這いずり回っているみたい。
続きを読む
tesseract 3.03でかなり読める
今新しく出ているバージョンが3.04.01で、最新版がかなり読めるようになったということを聞きまして、今はどれくらいなのかと見てみただけです。
↑3つは普通に -l jpnのコマンドで読むことができました。
続きを読む