正直なところ、アクセントというのはそれを気にしすぎて話せなくなってしまうくらいなら無視してしまった方がむしろ良いくらいなのですが、ご自身の持っているアクセントや癖、各国のアクセントなどについての理解があるということは、スピーキング力だけではなくリスニング力の向上にも役立つというのが本当のところです。ですので、TOEICでは基本的にスピーキングの試験がないからといって無視していると逆に遠回りになってしまう可能性も人によってはあると思います。
ちなみに日本語で「アクセント」というと音の高低を意味する場合が多く、実生活では所謂「訛り」とは区別されて使われています。学術的で正確な説明は省く・・・というかできないのですが、英語でいうところの「Accent」は音の強弱を意味したりと少し違います。参考までに5つの辞書などから「Accent（アクセント）」について引用してみます。
日本語大辞典（講談社）
１：１語１語の発音についていて、きまっている音の高まりや強まり。日本語は、高低のアクセントであり、英語は強弱のアクセントである。
２：発音の調子、語調。
３：美容・服飾・文芸作品などで、重点。強調部。（←この意味で使われていることがけっこうありますよね）
ジーニアス英和辞典（大修館書店）
１：アクセント、強勢。
２：アクセント符号。
３：特色、特徴。
４：なまり。
THE OXFORD DICTIONARY（Oxford University Press）
１：emphasis on a syllable or word.
２：a mark indicating such emphasis or the quality of vowel sound.
３：a national, local, or individual way of pronouncing words.
４：the emphasis given to something.
Wikipedia (English Page)
In linguistics, an accent is a manner of pronunciation peculiar to a particular individual, location, or nation. An accent may identify the locality in which its speakers reside (a geographical or regional accent), the socio-economic status of its speakers, their ethnicity, their caste or social class, their first language (when the language in which the accent is heard is not their native language), and so on.
Accents typically differ in quality of voice, pronunciation of vowels and consonants, stress, and prosody. Although grammar, semantics, vocabulary, and other language characteristics often vary concurrently with accent, the word 'accent' refers specifically to the differences in pronunciation, whereas the word 'dialect' encompasses the broader set of linguistic differences. Often 'accent' is a subset of 'dialect'.
Urban Dictionary
Accent is a combination of three main components: intonation (speech music), liaisons (word
connections), and pronunciation (the spoken sounds of vowels, consonants, and combinations).
Accents are influenced by a people’s geographical region of origin, their age, social background and education, and whether they have moved away from their home area. Nowadays it may also be influenced by external factors such radio or television. Amongst speakers of English as an additional language accent is often influenced by the pronunciation and intonation patterns of the first language.
What you and people who talk like you swear you don't have, but eeeeeverybody else does have.
One of the features that make an Irishman sexy, among many others.
Japanese Accent（ジャパニーズアクセント）
上で辞書などから引用しましたように、アクセントというのは普段話している言葉(基本的には母国語)による癖が英語を話している時にも出てしまうことによって生じるというのが主な原因で、ジャパニーズアクセントの大きな特徴としては単語や文章の最後が子音で終わっていても全て母音で終わらせてしまうことがあると思います。本当に強いアクセントを持っている場合、英語を話していても日本語を話しているのかと思われたりします。（ちなみに個人的には、ロシア人や韓国人の友人とはじめて話したときに彼らは英語ではなくてロシア語や韓国語で私に話しているのかと疑問に思ったということがあります）。
日本語は基本的には母音で終わります。50音の中のどの文字をとっても、音を引き延ばせばかならず母音で終わりますので（さぁぁぁ。しぃぃぃ。すぅぅぅ。せぇぇぇ。そぉぉぉ。などのように）、それが文章であっても同じです。
たとえば「私の名前は山田太郎です」という文章は「わたしの（ぉ）なまえは（ぁ）やまだ（ぁ）たろう（ぅ）です（ぅ）」といった感じになりますので、「My name is Taro Yamada」という英文でも「まいねーむ（ぅ）いず（ぅ）たろう（ぅ）やまだ（ぁ）」と発音してしまいがちです。
基本的に日本語の単語や文章は全て母音（あ、い、う、え、お）で終わるのですが、英語では単語や文章が子音で終わる場合が頻繁にあります。
「said」「want」「stop」「because」「came」などは良い例かもしれません。英語の発音をカタカナに置き換えるのはかなり無理があるのですが、それを承知でやってみますと以下のような違いが出てくるかと思います（カタカナに置き換えた発音が正しいかどうかよりも、「日本人が英語を話すと母音で終わらせがちである」ということが趣旨でありポイントです）。
赤字が英語の発音。青字がジャパニーズアクセントの典型。
・「said (se'd)」→「すぇ（っど）」→「せいど（ぉ）」
・「want (wɑ'nt)」→「うぁん（とぅっ）」→「うぉんと（ぉ）」
・「stop (stɑ'p)」→「すたぁっ（っぷ）」→「すとっぷ（ぅ）」
・「because (bikɔ'ːz)」→「びこーず（びかぁうず）」→「びこうず（ぅ）」
・「came (ke'im)」→「けいむ」→「けいむ（ぅ）」
といった感じです。
さすがに解り辛いかとも思うので以下の動画を解説を見ながらご覧ください（ジャパニーズアクセントの例として以下の動画をご紹介しますが、決して馬鹿にしているわけではありません。勘違いなさらぬようお願い致します。アクセントがあることは当たり前ですし、外国でしかも外国語で笑いをとろうとしているなんて普通の人にはできない素晴らしいことだと思います）。
0分40秒からの部分をご覧ください。
「So my family was worried（うぉーりぃどぉ） about me when I left Japan. And my mother said（せいどぉ）"Ken watch out（あうとぉ）. America is dangerous（でんじゃらすぅ）」
「worried (wə'ːrid)」も「out (a'ut)」も「dangerous (de'indʒərəs)」も全て子音で終わる単語で、「d」や「t」は破裂するような音、「s」は掠れるような音になるのが正しい発音なのですが、母音で終わっているように聞こえてしまいます。
「Japanese Accent（ジャパニーズアクセント）」の特徴は他にもあり、また機会があれば別の記事で書きたいと思っていますが、「（子音で終わらせるべき）単語や文章を母音で終わらせてしまう」というのはジャパニーズアクセントの特徴の１つと言えるかと思います。ただ、意識さえすれば子音で終わらせるための発音法はそこまで難しいことではありませんし、完璧とはいかなくても軽減するくらいのことであれば誰にでもできるはずです。
始めに書きましたように、日頃からそういったことに意識を置いていればスピーキングだけではなくリスニングもしやすくなる（文字で書かれていれば理解できるのに、音だけだとさっぱり理解できないというケースでは特に「正しい発音を知らない」「間違った発音をしている」ということが原因である可能性が高い）はずですので、是非、そんななところに気を配りながらリスニングなりスピーキングの練習をしてみてください。
発音（特に子音）については、当サイトでもレビューを書いている「リスニングはこう学べ」というテキストで発音記号を１つずつとりあげて詳しく解説されていますので、参考にしてみてはいかがでしょうか。
特集
・書籍（テキスト・洋書）レビューの一覧
・動画で学ぼう！楽しく学ぼう！（動画一覧）
・おもしろ画像で笑おう！学ぼう！
TOEIC関連の記事
・テキストレビューの一覧
・模擬試験型問題集の使い方
・TOEICの模試や本試験の進め方とポイント（リスニングセクション）
・TOEICの模試や本試験の進め方とポイント（リーディングセクション）
・期間を考慮したTOEICの学習方法（大学入学直後）
・期間を考慮したTOEICの学習方法（１年以上）
・期間を考慮したTOEICの学習方法（半年以上）
・各メディアを使った学習方法(01) : テレビドラマ・映画
・各メディアを使った学習方法(03) : フリーペーパー・洋書
・専用単語帳のメリットとその作り方・使い方
・誤答ノートのメリットとその作り方・使い方(1)
・誤答ノートのメリットとその作り方・使い方(2)
・繰り返し学習と負荷学習（負荷トレーニング）について
その他の記事
・動画で学ぶ！(02) - 6分18秒
・動画で学ぶ！(03) - 5分34秒
・動画で学ぶ！(04) - 2分41秒
・動画で学ぶ！(08) - 5分56秒
・動画で学ぶ！(15) - 2分08秒
・動画で学ぶ！(17) - 1分16秒
・洋書で学ぶ！(09) - Steve Jobs
・洋書で学ぶ！(06) - Kira-Kira
・洋書で学ぶ！(02) - Extremely Loud and Incredibly Close
・洋書で学ぶ！(04) - Holes
・洋書で学ぶ！(07) - OXFORD A Very Short Introduction
・洋書で学ぶ！(03) - Justice
・TOEICにおけるアクセントについて
・発音とアクセント(01) - "Si"と"Shi"の違い
・発音とアクセント(02) - "R"と"L"の違い
・発音とアクセント(03) - Japanese Accent（全てが母音で終わる？）
・発音とアクセント(04) - "S"と"TH"の違い
・発音とアクセント(05) - "CAN"と"CAN'T"の違い
・書籍の紹介と使い方(17)：New Headway
・書籍の紹介と使い方(16)：English Grammar in Use
・書籍の紹介と使い方(26)：TOEICテスト 新公式問題集 Vol.5
・書籍の紹介と使い方(18)：Ayaのリアルトークリスニング
・書籍の紹介と使い方(20)：リスニングはこう学べ
・書籍の紹介と使い方(14)：Idiomatic American English